Pohľad do 26 analytických techník veľkých dát: 2. časť

Doteraz som vás vo svojich blogoch o veľkých údajoch zoznámil s rôznymi aspektmi veľkých údajov, od toho, čo to vlastne znamená, až po fakty, čo sa s tým robí a čo nie. V predchádzajúcom blogu sme videli niekoľko techník analýzy veľkých dát. Posúvame zoznam ďalej v tomto blogu.

1. Rozpoznávanie vzorov

Rozpoznávanie vzorov je odvetvie strojového učenia, ktoré sa zameriava na rozpoznávanie vzorov a zákonitostí v údajoch, hoci sa v niektorých prípadoch považuje za takmer synonymum strojového učenia. Systémy rozpoznávania vzorov sú v mnohých prípadoch trénované na základe označených „tréningových“ údajov (učenie pod dohľadom), ale keď nie sú dostupné žiadne označené údaje, možno použiť iné algoritmy na objavenie predtým neznámych vzorov (učenie bez dozoru).

1. Prediktívne modelovanie

Prediktívna analytika zahŕňa množstvo techník, ktoré predpovedajú budúce výsledky na základe historických a aktuálnych údajov. V praxi sa dá prediktívna analytika použiť takmer vo všetkých disciplínach – od predpovedania zlyhania prúdových motorov na základe toku údajov z niekoľkých tisícok senzorov až po predpovedanie ďalších krokov zákazníkov na základe toho, čo kupujú, kedy nakupujú a dokonca aj čo. hovoria na sociálnych sieťach. Techniky prediktívnej analýzy sú primárne založené na štatistických metódach.

Pozri tiež:  Sprievodca pre začiatočníkov analýzou veľkých dát

1. Regresná analýza

Toto je technika, ktorá využíva nezávislé premenné a ako ovplyvňujú závislé premenné. Môže to byť veľmi užitočná technika pri určovaní analýzy sociálnych médií, ako je pravdepodobnosť nájdenia lásky cez internetovú platformu.

1. Analýza sentimentu

Analýza sentimentu pomáha výskumníkom určiť pocity rečníkov alebo autorov v súvislosti s témou. Analýza sentimentu sa používa na pomoc:

• Zlepšite služby v hotelovom reťazci analýzou komentárov hostí.
• Prispôsobte stimuly a služby tak, aby zodpovedali tomu, čo zákazníci skutočne požadujú.
• Zistite, čo si spotrebitelia skutočne myslia na základe názorov zo sociálnych médií.

1. Spracovanie signálu

Spracovanie signálu je podporná technológia, ktorá zahŕňa základnú teóriu, aplikácie, algoritmy a implementácie spracovania alebo prenosu informácií obsiahnutých v mnohých rôznych fyzických, symbolických alebo abstraktných formátoch, ktoré sa všeobecne označujú ako signály . Používa matematické, štatistické, výpočtové, heuristické a lingvistické reprezentácie, formalizmy a techniky na reprezentáciu, modelovanie, analýzu, syntézu, objavovanie, obnovu, snímanie, získavanie, extrakciu, učenie, bezpečnosť alebo forenznú analýzu. Vzorové aplikácie zahŕňajú modelovanie pre analýzu časových radov alebo implementáciu fúzie údajov na určenie presnejšieho čítania kombináciou údajov zo súboru menej presných zdrojov údajov (tj extrahovanie signálu zo šumu).

1. Priestorová analýza

Priestorová analýza je proces, pri ktorom premieňame nespracované údaje na užitočné informácie. Je to proces skúmania umiestnení, atribútov a vzťahov prvkov v priestorových údajoch prostredníctvom prekrývania a iných analytických techník s cieľom vyriešiť otázku alebo získať užitočné znalosti. Priestorová analýza extrahuje alebo vytvára nové informácie z priestorových údajov.

1. Štatistiky

V štatistike je prieskumná analýza údajov prístupom k analýze súborov údajov s cieľom zhrnúť ich hlavné charakteristiky, často pomocou vizuálnych metód. Štatistický model môže byť použitý alebo nie, ale primárne EDA slúži na to, aby sme videli, čo nám môžu údaje povedať nad rámec formálneho modelovania alebo testovania hypotéz. Štatistické techniky sa používajú aj na zníženie pravdepodobnosti chýb typu I („falošné pozitíva“) a chýb typu II („falošne negatívne výsledky“). Príkladom aplikácie je A/B testovanie na určenie, ktoré typy marketingových materiálov najviac zvýšia príjmy.

Pozri tiež:  40 ohromujúcich faktov o veľkých dátach

1. Učenie pod dohľadom

Riadené učenie je úlohou strojového učenia odvodzovať funkciu z označených tréningových údajov. Tréningové dáta pozostávajú zo súboru tréningových príkladov . V riadenom učení je každý príklad dvojicou pozostávajúcou zo vstupného objektu (zvyčajne vektora) a požadovanej výstupnej hodnoty (tiež nazývanej supervízny signál ). Riadený vzdelávací algoritmus analyzuje trénovacie údaje a vytvára odvodenú funkciu, ktorú možno použiť na mapovanie nových príkladov.

1. Analýza sociálnych sietí

Analýza sociálnych sietí je technika, ktorá bola prvýkrát použitá v telekomunikačnom priemysle a potom rýchlo prijatá sociológmi na štúdium medziľudských vzťahov. V súčasnosti sa používa na analýzu vzťahov medzi ľuďmi v mnohých oblastiach a komerčných aktivitách. Uzly predstavujú jednotlivcov v rámci siete, zatiaľ čo väzby predstavujú vzťahy medzi jednotlivcami.

1. Simulácia

Modelovanie správania zložitých systémov, často používané na prognózovanie, predpovedanie a plánovanie scenárov. Simulácie Monte Carlo sú napríklad triedou algoritmov, ktoré sa spoliehajú na opakované náhodné vzorkovanie, tj spustenie tisícok simulácií, z ktorých každá je založená na iných predpokladoch. Výsledkom je histogram, ktorý poskytuje rozdelenie pravdepodobnosti výsledkov. Jednou aplikáciou je hodnotenie pravdepodobnosti splnenia finančných cieľov vzhľadom na neistotu úspešnosti rôznych iniciatív

1. Analýza časových radov

Analýza časových radov zahŕňa metódy na analýzu údajov časových radov s cieľom extrahovať zmysluplné štatistiky a iné charakteristiky údajov. Údaje o časových radoch často vznikajú pri monitorovaní priemyselných procesov alebo sledovaní podnikových obchodných metrík. Analýza časových radov zohľadňuje skutočnosť, že dátové body získané v priebehu času môžu mať vnútornú štruktúru (ako je autokorelácia, trend alebo sezónna variácia), ktorá by sa mala zohľadniť. Príklady analýzy časových radov zahŕňajú hodinovú hodnotu indexu akciového trhu alebo počet pacientov s diagnostikovaným daným stavom každý deň.

1. Učenie bez dozoru

Učenie bez dozoru je úlohou strojového učenia odvodzovať funkciu na opísanie skrytej štruktúry z neoznačených údajov. Keďže príklady poskytnuté študentovi nie sú označené, neexistuje žiadny signál chyby alebo odmeny na vyhodnotenie potenciálneho riešenia – to odlišuje učenie bez dozoru od učenia sa pod dohľadom a posilňovacieho učenia.

Učenie bez dozoru však zahŕňa aj mnoho ďalších techník, ktoré sa snažia zhrnúť a vysvetliť kľúčové vlastnosti údajov.

1. Vizualizácia

Vizualizácia dát je príprava dát v obrazovom alebo grafickom formáte. Umožňuje osobám s rozhodovacou právomocou vidieť analýzu prezentovanú vizuálne, takže môžu pochopiť zložité koncepty alebo identifikovať nové vzory. S interaktívnou vizualizáciou môžete tento koncept posunúť o krok ďalej pomocou technológie na hĺbkovú analýzu tabuliek a grafov, aby ste získali viac podrobností, a interaktívne meniť, aké údaje vidíte a ako sa spracúvajú.

Záver

Analýza veľkých dát bola jedným z najdôležitejších prielomov v odvetví informačných technológií. V skutočnosti Big Data ukázali svoju dôležitosť a potrebu takmer vo všetkých sektoroch a vo všetkých oddeleniach týchto odvetví. Neexistuje jediný aspekt života, ktorý by nebol ovplyvnený veľkými dátami, dokonca ani náš osobný život. Preto potrebujeme Big Data Analytics na efektívnu správu tohto obrovského množstva údajov.

Ako už bolo povedané, tento zoznam nie je úplný. Výskumníci stále experimentujú s novými spôsobmi analýzy tohto obrovského množstva údajov, ktoré sú prítomné v rôznych formách, ktorých rýchlosť generovania sa s časom zvyšuje, aby sa odvodili hodnoty pre naše špecifické použitie.