Pohled do 26 analytických technik velkých dat: Část 2

Doposud jsem vás na svých blozích o Big Data seznamoval s různými aspekty Big Data, od toho, co to vlastně znamená, až po fakta a co dělat a co ne. V předchozím blogu jsme viděli některé techniky analýzy velkých dat. Posouváme seznam dále na tomto blogu.

1. Rozpoznávání vzorů

Rozpoznávání vzorů je odvětví strojového učení, které se zaměřuje na rozpoznávání vzorů a pravidelností v datech, i když je v některých případech považováno za téměř synonymum strojového učení. Systémy rozpoznávání vzorů jsou v mnoha případech trénovány na základě označených „tréninkových“ dat (učení pod dohledem), ale když nejsou k dispozici žádná označená data, lze k objevení dříve neznámých vzorců použít jiné algoritmy (učení bez dozoru).

1. Prediktivní modelování

Prediktivní analytika zahrnuje různé techniky, které předpovídají budoucí výsledky na základě historických a současných dat. V praxi lze prediktivní analytiku aplikovat téměř na všechny obory – od předpovídání selhání proudových motorů na základě toku dat z několika tisíc senzorů až po předpovídání dalšího postupu zákazníků na základě toho, co kupují, kdy nakupují a dokonce i co říkají na sociálních sítích. Techniky prediktivní analýzy jsou primárně založeny na statistických metodách.

Viz také:  Průvodce pro začátečníky analýzou velkých dat

1. Regresní analýza

Jedná se o techniku, která využívá nezávislé proměnné a jak ovlivňují závislé proměnné. To může být velmi užitečná technika při určování analýzy sociálních médií, jako je pravděpodobnost nalezení lásky přes internetovou platformu.

1. Analýza sentimentu

Analýza sentimentu pomáhá výzkumníkům určit pocity mluvčích nebo spisovatelů s ohledem na téma. Analýza sentimentu se používá, aby pomohla:

• Zlepšete služby v hotelovém řetězci analýzou komentářů hostů.
• Přizpůsobte pobídky a služby tak, aby odpovídaly tomu, co zákazníci skutečně požadují.
• Zjistěte, co si spotřebitelé skutečně myslí, na základě názorů ze sociálních médií.

1. Zpracování signálu

Zpracování signálů je základní technologie, která zahrnuje základní teorii, aplikace, algoritmy a implementace zpracování nebo přenosu informací obsažených v mnoha různých fyzických, symbolických nebo abstraktních formátech široce označovaných jako signály . Využívá matematické, statistické, výpočetní, heuristické a lingvistické reprezentace, formalismy a techniky pro reprezentaci, modelování, analýzu, syntézu, objevování, obnovu, snímání, získávání, extrakci, učení, bezpečnost nebo forenzní analýzu. Vzorové aplikace zahrnují modelování pro analýzu časových řad nebo implementaci fúze dat pro určení přesnějšího čtení kombinací dat ze sady méně přesných zdrojů dat (tj. extrahování signálu ze šumu).

1. Prostorová analýza

Prostorová analýza je proces, při kterém přeměňujeme nezpracovaná data na užitečné informace. Je to proces zkoumání umístění, atributů a vztahů prvků v prostorových datech pomocí překryvných a jiných analytických technik s cílem odpovědět na otázku nebo získat užitečné znalosti. Prostorová analýza extrahuje nebo vytváří nové informace z prostorových dat.

1. Statistika

Ve statistice je průzkumná analýza dat přístupem k analýze souborů dat za účelem shrnutí jejich hlavních charakteristik, často pomocí vizuálních metod. Statistický model může být použit nebo ne, ale primárně EDA slouží k tomu, abychom viděli, co nám data mohou říci mimo formální modelování nebo testování hypotéz. Statistické techniky se také používají ke snížení pravděpodobnosti chyb typu I („falešně pozitivní“) a chyb typu II („falešně negativní“). Příkladem aplikace je A/B testování k určení, jaké typy marketingových materiálů nejvíce zvýší příjmy.

Viz také:  40 ohromujících faktů o velkých datech

1. Učení pod dohledem

Učení pod dohledem je úkol strojového učení odvození funkce z označených trénovacích dat. Tréninková data se skládají ze sady tréninkových příkladů . V řízeném učení je každý příklad párem sestávajícím ze vstupního objektu (typicky vektoru) a požadované výstupní hodnoty (také nazývané dohledový signál ). Algoritmus učení pod dohledem analyzuje trénovací data a vytváří odvozenou funkci, kterou lze použít pro mapování nových příkladů.

1. Analýza sociálních sítí

Analýza sociálních sítí je technika, která byla poprvé použita v telekomunikačním průmyslu a poté rychle přijata sociology ke studiu mezilidských vztahů. Nyní se používá k analýze vztahů mezi lidmi v mnoha oborech a komerčních činnostech. Uzly představují jednotlivce v rámci sítě, zatímco vazby představují vztahy mezi jednotlivci.

1. Simulace

Modelování chování komplexních systémů, často používané pro prognózování, předpovídání a plánování scénářů. Například simulace Monte Carlo jsou třídou algoritmů, které se spoléhají na opakované náhodné vzorkování, tj. běh tisíců simulací, z nichž každá je založena na jiných předpokladech. Výsledkem je histogram, který udává pravděpodobnostní rozdělení výsledků. Jedna aplikace hodnotí pravděpodobnost splnění finančních cílů vzhledem k nejistotě ohledně úspěchu různých iniciativ

1. Analýza časových řad

Analýza časových řad zahrnuje metody pro analýzu dat časových řad za účelem extrahování smysluplných statistik a dalších charakteristik dat. Data časových řad často vznikají při sledování průmyslových procesů nebo sledování podnikových obchodních metrik. Analýza časových řad zohledňuje skutečnost, že datové body získané v průběhu času mohou mít vnitřní strukturu (jako je autokorelace, trend nebo sezónní variace), která by měla být zohledněna. Příklady analýzy časových řad zahrnují hodinovou hodnotu indexu akciového trhu nebo počet pacientů s diagnostikovaným daným stavem každý den.

1. Učení bez dozoru

Učení bez dozoru je úkolem strojového učení odvodit funkci k popisu skryté struktury z neoznačených dat. Vzhledem k tomu, že příklady poskytnuté studentovi nejsou označeny, neexistuje žádný signál chyby nebo odměny pro vyhodnocení potenciálního řešení – to odlišuje učení bez dozoru od učení pod dohledem a posilování.

Učení bez dozoru však také zahrnuje mnoho dalších technik, které se snaží shrnout a vysvětlit klíčové rysy dat.

1. Vizualizace

Vizualizace dat je příprava dat v obrazovém nebo grafickém formátu. Umožňuje osobám s rozhodovací pravomocí vidět analýzu prezentovanou vizuálně, takže mohou pochopit obtížné koncepty nebo identifikovat nové vzorce. S interaktivní vizualizací můžete posunout koncept o krok dále pomocí technologie k procházení do tabulek a grafů pro více podrobností, interaktivně měnit, jaká data vidíte a jak jsou zpracována.

Závěr

Analýza velkých dat byla jedním z nejdůležitějších průlomů v odvětví informačních technologií. Ve skutečnosti Big Data ukázala svou důležitost a potřebu téměř ve všech sektorech a ve všech odděleních těchto odvětví. Neexistuje jediný aspekt života, který by nebyl ovlivněn Big Data, dokonce ani náš osobní život. Proto potřebujeme Big Data Analytics, abychom mohli efektivně spravovat toto obrovské množství dat.

Jak již bylo řečeno, tento seznam není vyčerpávající. Výzkumníci stále experimentují s novými způsoby analýzy tohoto obrovského množství dat, která jsou přítomna v různých formách, jejichž rychlost generování se s časem zvyšuje, aby bylo možné odvodit hodnoty pro naše konkrétní použití.