Pohled do 26 analytických technik velkých dat: Část 1

„ Big Data “ je aplikace specializovaných technik a technologií ke zpracování velmi rozsáhlých souborů dat. Tyto datové soubory jsou často tak velké a složité, že je obtížné je zpracovat pomocí nástrojů pro správu databází.

Radikální růst informačních technologií vedl k několika komplementárním podmínkám v tomto odvětví. Jedním z nejtrvalejších a pravděpodobně nejpřítomnějších výsledků je přítomnost velkých dat. Termín Big Data je fráze, která byla vytvořena k popisu přítomnosti obrovského množství dat. Výsledkem takového obrovského množství dat je analýza dat.

Data Analytics je proces strukturování velkých dat. V rámci velkých dat existují různé vzory a korelace, které umožňují analýze dat lépe vypočítat charakterizaci dat. To dělá z datové analýzy jednu z nejdůležitějších součástí informačních technologií.

Proto zde uvádím 26 technik analýzy velkých dat. Tento seznam není v žádném případě vyčerpávající.

1. A/B testování

A/B testování je hodnotící nástroj pro zjištění, která verze webové stránky nebo aplikace pomáhá organizaci nebo jednotlivci efektivněji dosáhnout obchodního cíle. Toto rozhodnutí je učiněno porovnáním, která verze něčeho funguje lépe. A/B testování se běžně používá při vývoji webu, aby se zajistilo, že změny na webové stránce nebo součásti stránky jsou řízeny daty, nikoli osobním názorem.

Nazývá se také jako rozlité testování nebo bucket testing.

Viz také:  Šedá oblast velkých dat – co dělat a nedělat

1. Učení asociačních pravidel

Soubor technik pro objevování zajímavých vztahů, tj. „asociačních pravidel“ mezi proměnnými ve velkých databázích. Tyto techniky se skládají z různých algoritmů pro generování a testování možných pravidel.

Jednou z aplikací je analýza tržního koše, ve které může maloobchodník určit, které produkty se často nakupují společně, a použít tyto informace pro marketing. (Obvykle citovaným příkladem je zjištění, že mnoho nakupujících v supermarketech, kteří nakupují nachos, kupuje také pivo.)

1. Analýza klasifikačního stromu

Statistická klasifikace je metoda identifikace kategorií, do kterých nové pozorování patří. Vyžaduje to trénovací sadu správně identifikovaných pozorování – jinými slovy historických dat.

Statistická klasifikace se používá k:

• Automaticky přiřaďte dokumenty do kategorií
• Roztřiď organismy do skupin
• Vytvořte profily studentů, kteří absolvují online kurzy

1. Shluková analýza

Statistická metoda pro klasifikaci objektů, která rozděluje různorodou skupinu na menší skupiny podobných objektů, jejichž charakteristiky podobnosti nejsou předem známy. Příkladem shlukové analýzy je segmentace spotřebitelů do sobě podobných skupin pro cílený marketing. Používá se pro dolování dat.

1. Crowdsourcing

V crowdsourcingu je nuance taková, že úkol nebo práce se zadává externě, ale ne určenému profesionálovi nebo organizaci, ale široké veřejnosti ve formě otevřené výzvy. Crowdsourcing je technika, kterou lze nasadit ke shromažďování dat z různých zdrojů, jako jsou textové zprávy, aktualizace sociálních médií, blogy atd. Jedná se o typ hromadné spolupráce a příklad použití webu.

1. Fúze a integrace dat

Víceúrovňový proces zabývající se asociací, korelací, kombinací dat a informací z jednoho i více zdrojů pro dosažení přesné pozice, identifikaci odhadů a kompletní a včasné vyhodnocení situací, hrozeb a jejich významnosti.

Techniky datové fúze kombinují data z více senzorů a související informace z přidružených databází za účelem dosažení vyšší přesnosti a specifičtějších závěrů, než jaké by bylo možné dosáhnout použitím jediného senzoru samotného.

Viz také:  Průvodce pro začátečníky analýzou velkých dat

1. Dolování dat

Data mining je třídění dat k identifikaci vzorců a navazování vztahů. Data mining je označován jako kolektivní techniky extrakce dat, které se provádějí na velkém objemu dat. Mezi parametry dolování dat patří asociace, sekvenční analýza, klasifikace, shlukování a prognózování.

Aplikace zahrnují dolování zákaznických dat k určení segmentů, které s největší pravděpodobností zareagují na nabídku, dolování dat o lidských zdrojích k identifikaci charakteristik nejúspěšnějších zaměstnanců nebo analýzu tržního koše k modelování nákupního chování zákazníků.

1. Souborové učení

Je to umění kombinovat různé sady učebních algoritmů dohromady za účelem improvizace na stabilitu a prediktivní sílu modelu. Jedná se o typ učení pod dohledem.

1. Genetické algoritmy

Optimalizační techniky, které využívají procesy jako genetická kombinace, mutace a přirozený výběr v designu založeném na konceptech přirozené evoluce. Genetické algoritmy jsou techniky, které se používají k identifikaci nejsledovanějších videí, televizních pořadů a dalších forem médií. Existuje evoluční vzorec, který lze provést pomocí genetických algoritmů. Analýzu videa a médií lze provádět pomocí genetických algoritmů.

1. Strojové učení

Strojové učení je další technika, kterou lze použít ke kategoriím a určování pravděpodobného výsledku konkrétního souboru dat. Strojové učení definuje software, který může být schopen určit možné výsledky určitého souboru událostí. Používá se proto v prediktivní analýze. Příkladem prediktivní analýzy je pravděpodobnost výhry v soudních sporech nebo úspěšnost určitých produkcí.

1. Zpracování přirozeného jazyka

Soubor technik ze podoboru počítačové vědy (v oblasti historicky nazývané „umělá inteligence“) a lingvistiky, která využívá počítačové algoritmy k analýze lidského (přirozeného) jazyka. Mnoho technik NLP je typem strojového učení. Jednou z aplikací NLP je použití analýzy sentimentu na sociálních sítích ke zjištění, jak potenciální zákazníci reagují na kampaň zaměřenou na budování značky.

1. Neuronové sítě

Nelineární prediktivní modely, které se učí prostřednictvím tréninku a svou strukturou připomínají biologické neuronové sítě. Mohou být použity pro rozpoznávání vzorů a optimalizaci. Některé aplikace neuronové sítě zahrnují učení pod dohledem a jiné zahrnují učení bez dozoru. Příklady aplikací zahrnují identifikaci zákazníků s vysokou hodnotou, kteří jsou ohroženi odchodem z konkrétní společnosti, a identifikaci podvodných pojistných událostí.

Čtěte také:  40 ohromujících faktů o velkých datech

1. Optimalizace

Portfolio numerických technik používaných k přepracování složitých systémů a procesů za účelem zlepšení jejich výkonu podle jednoho nebo více objektivních měřítek (např. náklady, rychlost nebo spolehlivost). Příklady aplikací zahrnují zlepšování provozních procesů, jako je plánování, směrování a uspořádání podlaží, a přijímání strategických rozhodnutí, jako je strategie produktové řady, propojená investiční analýza a strategie portfolia výzkumu a vývoje. Genetické algoritmy jsou příkladem optimalizační techniky.

Ve svém příštím blogu bych popsal zbývajících 13 technik analýzy velkých dat.

Přečtěte si: Další část vhledu do 26 analytických technik velkých dat