Pohľad do 26 analytických techník veľkých dát: 1. časť

„ Big Data “ je aplikácia špecializovaných techník a technológií na spracovanie veľmi veľkých súborov údajov. Tieto súbory údajov sú často také veľké a zložité, že je ťažké ich spracovať pomocou nástrojov na správu databáz.

Radikálny rast informačných technológií viedol k niekoľkým komplementárnym podmienkam v tomto odvetví. Jedným z najtrvalejších a pravdepodobne najaktuálnejších výsledkov je prítomnosť veľkých dát. Termín Big Data je chytľavá fráza, ktorá bola vytvorená na opis prítomnosti obrovského množstva údajov. Výsledkom takéhoto obrovského množstva údajov je analýza údajov.

Data Analytics je proces štruktúrovania veľkých dát. V rámci veľkých údajov existujú rôzne vzory a korelácie, ktoré umožňujú analytike údajov lepšie vypočítať charakterizáciu údajov. Vďaka tomu je dátová analýza jednou z najdôležitejších súčastí informačných technológií.

Preto tu uvádzam 26 techník analýzy veľkých dát. Tento zoznam nie je v žiadnom prípade úplný.

1. A/B testovanie

A/B testovanie je hodnotiaci nástroj na zistenie, ktorá verzia webovej stránky alebo aplikácie pomáha organizácii alebo jednotlivcovi efektívnejšie splniť obchodný cieľ. Toto rozhodnutie sa prijíma porovnaním, ktorá verzia niečoho funguje lepšie. A/B testovanie sa bežne používa pri vývoji webu, aby sa zabezpečilo, že zmeny na webovej stránke alebo komponente stránky sú riadené údajmi a nie osobným názorom.

Nazýva sa tiež testovanie rozliatia alebo testovanie vo vedre.

Pozri tiež:  Šedá oblasť veľkých dát – čo robiť a čo nerobiť

1. Učenie sa pravidiel asociácie

Súbor techník na objavovanie zaujímavých vzťahov, tj „pravidlá asociácie“ medzi premennými vo veľkých databázach. Tieto techniky pozostávajú z rôznych algoritmov na generovanie a testovanie možných pravidiel.

Jednou z aplikácií je analýza trhového koša, v ktorej môže maloobchodník určiť, ktoré produkty sa často nakupujú spolu, a použiť tieto informácie na marketing. (Bežne citovaným príkladom je zistenie, že veľa nakupujúcich v supermarketoch, ktorí si kupujú nachos, kupuje aj pivo.)

1. Analýza klasifikačného stromu

Štatistická klasifikácia je metóda identifikácie kategórií, do ktorých patrí nové pozorovanie. Vyžaduje si to tréningový súbor správne identifikovaných pozorovaní – inými slovami historických údajov.

Štatistická klasifikácia sa používa na:

• Automaticky priraďte dokumenty do kategórií
• Rozdeľte organizmy do skupín
• Vypracujte profily študentov, ktorí absolvujú online kurzy

1. Zhluková analýza

Štatistická metóda na klasifikáciu objektov, ktorá rozdeľuje rôznorodú skupinu na menšie skupiny podobných objektov, ktorých charakteristiky podobnosti nie sú vopred známe. Príkladom klastrovej analýzy je segmentácia spotrebiteľov do sebepodobných skupín pre cielený marketing. Používa sa na dolovanie údajov.

1. Crowdsourcing

V crowdsourcingu je nuansou, že úloha alebo práca sa zadáva externe, ale nie určenému odborníkovi alebo organizácii, ale širokej verejnosti vo forme otvorenej výzvy. Crowdsourcing je technika, ktorú možno použiť na zhromažďovanie údajov z rôznych zdrojov, ako sú textové správy, aktualizácie sociálnych médií, blogy atď. Ide o typ hromadnej spolupráce a príklad používania webu.

1. Fúzia a integrácia údajov

Viacúrovňový proces zaoberajúci sa asociáciou, koreláciou, kombináciou údajov a informácií z jedného a viacerých zdrojov na dosiahnutie presnej pozície, identifikáciu odhadov a kompletné a včasné vyhodnotenie situácií, hrozieb a ich významnosti.

Techniky fúzie údajov kombinujú údaje z viacerých senzorov a súvisiace informácie z pridružených databáz na dosiahnutie vyššej presnosti a špecifickejších záverov, ako by sa dalo dosiahnuť použitím jediného senzora samotného.

Pozri tiež:  Sprievodca pre začiatočníkov analýzou veľkých dát

1. Dolovanie dát

Data mining je triedenie údajov s cieľom identifikovať vzory a vytvoriť vzťahy. Dolovanie údajov sa vzťahuje na techniky kolektívnej extrakcie údajov, ktoré sa vykonávajú na veľkom objeme údajov. Parametre dolovania údajov zahŕňajú asociáciu, sekvenčnú analýzu, klasifikáciu, zoskupovanie a prognózovanie.

Aplikácie zahŕňajú získavanie údajov o zákazníkoch na určenie segmentov, ktoré s najväčšou pravdepodobnosťou reagujú na ponuku, získavanie údajov o ľudských zdrojoch na identifikáciu charakteristík najúspešnejších zamestnancov alebo analýzu trhového koša na modelovanie nákupného správania zákazníkov.

1. Súborové učenie

Je to umenie kombinovania rôznorodých súborov učebných algoritmov dohromady s cieľom improvizovať na stabilitu a predikčnú silu modelu. Ide o typ učenia pod dohľadom.

1. Genetické algoritmy

Optimalizačné techniky, ktoré využívajú procesy ako genetická kombinácia, mutácia a prirodzený výber v dizajne založenom na konceptoch prirodzenej evolúcie. Genetické algoritmy sú techniky, ktoré sa používajú na identifikáciu najsledovanejších videí, televíznych relácií a iných foriem médií. Existuje evolučný vzorec, ktorý možno dosiahnuť použitím genetických algoritmov. Analýzu videa a médií možno vykonávať pomocou genetických algoritmov.

1. strojové učenie

Strojové učenie je ďalšou technikou, ktorú možno použiť na kategórie a určenie pravdepodobného výsledku konkrétneho súboru údajov. Strojové učenie definuje softvér, ktorý dokáže určiť možné výsledky určitého súboru udalostí. Preto sa používa v prediktívnej analytike. Príkladom prediktívnej analýzy je pravdepodobnosť výhry v súdnych sporoch alebo úspešnosť určitých produkcií.

1. Spracovanie prirodzeného jazyka

Súbor techník zo subšpecializácie počítačovej vedy (v oblasti historicky nazývanej „umelá inteligencia“) a lingvistiky, ktorá využíva počítačové algoritmy na analýzu ľudského (prirodzeného) jazyka. Mnohé techniky NLP sú typmi strojového učenia. Jednou z aplikácií NLP je použitie analýzy sentimentu na sociálnych médiách na určenie toho, ako potenciálni zákazníci reagujú na kampaň zameranú na budovanie značky.

1. Neurálne siete

Nelineárne prediktívne modely, ktoré sa učia prostredníctvom tréningu a svojou štruktúrou pripomínajú biologické neurónové siete. Môžu byť použité na rozpoznávanie a optimalizáciu vzorov. Niektoré aplikácie neurónových sietí zahŕňajú učenie pod dohľadom a iné zahŕňajú učenie bez dozoru. Príklady aplikácií zahŕňajú identifikáciu zákazníkov s vysokou hodnotou, ktorí sú vystavení riziku odchodu z konkrétnej spoločnosti, a identifikáciu podvodných poistných udalostí.

Prečítajte si tiež:  40 ohromujúcich faktov o veľkých dátach

1. Optimalizácia

Portfólio numerických techník používaných na prepracovanie zložitých systémov a procesov na zlepšenie ich výkonu podľa jedného alebo viacerých objektívnych opatrení (napr. náklady, rýchlosť alebo spoľahlivosť). Príklady aplikácií zahŕňajú zlepšovanie prevádzkových procesov, ako je plánovanie, smerovanie a usporiadanie podlahy, a prijímanie strategických rozhodnutí, ako je stratégia produktovej rady, analýza prepojených investícií a stratégia portfólia výskumu a vývoja. Príkladom optimalizačnej techniky sú genetické algoritmy.

V mojom ďalšom blogu by som opísal zvyšných 13 techník analýzy veľkých dát.

Prečítajte si: Ďalšia časť Prehľadu 26 analytických techník veľkých dát