Vpogled v 26 analitičnih tehnik velikih podatkov: 1. del

" Veliki podatki " so uporaba specializiranih tehnik in tehnologij za obdelavo zelo velikih nizov podatkov. Ti nabori podatkov so pogosto tako veliki in zapleteni, da jih je težko obdelati z uporabo priročnih orodij za upravljanje baz podatkov.

Radikalna rast informacijske tehnologije je privedla do številnih brezplačnih pogojev v industriji. Eden najbolj vztrajnih in verjetno najbolj prisotnih rezultatov je prisotnost velikih podatkov. Izraz Big Data je izraz, ki je bil skovan za opis prisotnosti ogromnih količin podatkov. Posledica takšne ogromne količine podatkov je Data Analytics.

Data Analytics je proces strukturiranja velikih podatkov. Znotraj velikih podatkov obstajajo različni vzorci in korelacije, ki analitiki podatkov omogočajo boljšo izračunano karakterizacijo podatkov. Zaradi tega je analitika podatkov eden najpomembnejših delov informacijske tehnologije.

Zato tukaj navajam 26 tehnik analize velikih podatkov. Ta seznam nikakor ni izčrpen.

1. A/B testiranje

A/B testiranje je ocenjevalno orodje za ugotavljanje, katera različica spletne strani ali aplikacije pomaga organizaciji ali posamezniku učinkoviteje doseči poslovni cilj. Ta odločitev se sprejme s primerjavo, katera različica nečesa deluje bolje. A/B testiranje se običajno uporablja pri spletnem razvoju, da se zagotovi, da spremembe spletne strani ali komponente strani vodijo podatki in ne osebno mnenje.

Imenuje se tudi testiranje razlitja ali testiranje z vedrom.

Glejte tudi:  Sivo območje velikih podatkov – kaj storiti in ne

1. Učenje pravil združenja

Nabor tehnik za odkrivanje zanimivih odnosov, tj. »pravil pridruževanja« med spremenljivkami v velikih bazah podatkov. Te tehnike so sestavljene iz različnih algoritmov za ustvarjanje in preizkušanje možnih pravil.

Ena od aplikacij je analiza tržne košarice, pri kateri lahko trgovec na drobno ugotovi, katere izdelke pogosto kupuje skupaj, in te informacije uporabi za trženje. (Pogosto naveden primer je odkritje, da številni nakupovalci v supermarketih, ki kupujejo nachos, kupujejo tudi pivo.)

1. Analiza klasifikacijskega drevesa

Statistična klasifikacija je metoda identifikacije kategorij, ki jim pripada novo opazovanje. Zahteva niz za usposabljanje pravilno identificiranih opazovanj – z drugimi besedami zgodovinskih podatkov.

Statistična klasifikacija se uporablja za:

• Samodejno dodelite dokumente kategorijam
• Razvrstite organizme v skupine
• Razvijte profile študentov, ki obiskujejo spletne tečaje

1. Analiza grozdov

Statistična metoda za razvrščanje predmetov, ki razdeli raznoliko skupino na manjše skupine podobnih predmetov, katerih značilnosti podobnosti niso znane vnaprej. Primer grozdne analize je segmentiranje potrošnikov v sebi podobne skupine za ciljno trženje. Uporablja se za podatkovno rudarjenje.

1. Crowdsourcing

Pri množičnem izvajanju storitev je odtenek v tem, da se naloga ali delo odda zunanjemu izvajalcu, vendar ne določenemu strokovnjaku ali organizaciji, temveč širši javnosti v obliki javnega razpisa. Crowdsourcing je tehnika, ki jo je mogoče uporabiti za zbiranje podatkov iz različnih virov, kot so besedilna sporočila, posodobitve družbenih medijev, blogi itd. To je vrsta množičnega sodelovanja in primer uporabe spleta.

1. Fuzija podatkov in integracija podatkov

Večstopenjski proces, ki se ukvarja z združevanjem, korelacijo, kombinacijo podatkov in informacij iz enega ali več virov za doseganje izpopolnjenega položaja, ugotavljanja ocen ter popolne in pravočasne ocene situacij, groženj in njihovega pomena.

Tehnike združevanja podatkov združujejo podatke iz več senzorjev in z njimi povezane informacije iz povezanih baz podatkov, da bi dosegli večjo natančnost in bolj specifične sklepe, kot bi jih bilo mogoče doseči z uporabo enega samega senzorja.

Glejte tudi:  Vodnik za začetnike po analitiki velikih podatkov

1. Podatkovno rudarjenje

Podatkovno rudarjenje je razvrščanje podatkov za prepoznavanje vzorcev in vzpostavitev odnosov. Podatkovno rudarjenje se nanaša na tehnike zbiranja podatkov, ki se izvajajo na velikem obsegu podatkov. Parametri rudarjenja podatkov vključujejo povezovanje, analizo zaporedja, klasifikacijo, združevanje v skupine in napovedovanje.

Aplikacije vključujejo rudarjenje podatkov o strankah za določitev segmentov, ki se bodo najverjetneje odzvali na ponudbo, rudarjenje podatkov o človeških virih za identifikacijo značilnosti najuspešnejših zaposlenih ali analizo tržne košarice za modeliranje nakupnega vedenja strank.

1. Ansambelsko učenje

To je umetnost združevanja različnih naborov učnih algoritmov skupaj za improvizacijo stabilnosti in napovedne moči modela. To je vrsta nadzorovanega učenja.

1. Genetski algoritmi

Tehnike optimizacije, ki uporabljajo procese, kot so genetska kombinacija, mutacija in naravna selekcija, pri načrtovanju, ki temelji na konceptih naravne evolucije. Genetski algoritmi so tehnike, ki se uporabljajo za identifikacijo najbolj gledanih videoposnetkov, TV oddaj in drugih oblik medijev. Obstaja evolucijski vzorec, ki ga je mogoče izvesti z uporabo genetskih algoritmov. Video in medijsko analitiko je mogoče izvesti z uporabo genetskih algoritmov.

1. Strojno učenje

Strojno učenje je še ena tehnika, ki se lahko uporablja za razvrščanje in določanje verjetnega izida določenega niza podatkov. Strojno učenje definira programsko opremo, ki lahko določi možne izide določenega niza dogodkov. Zato se uporablja v napovedni analitiki. Primer napovedne analitike je verjetnost zmage v sodnih zadevah ali uspeh določenih produkcij.

1. Obdelava naravnega jezika

Nabor tehnik iz podspecialnosti računalništva (znotraj področja, ki se zgodovinsko imenuje "umetna inteligenca") in jezikoslovja, ki uporablja računalniške algoritme za analizo človeškega (naravnega) jezika. Mnoge NLP tehnike so vrste strojnega učenja. Ena od aplikacij NLP je uporaba analize razpoloženja na družbenih medijih za ugotavljanje, kako se bodoči kupci odzivajo na kampanjo za blagovno znamko.

1. nevronske mreže

Nelinearni prediktivni modeli, ki se učijo z usposabljanjem in so po strukturi podobni biološkim nevronskim mrežam. Uporabljajo se lahko za prepoznavanje vzorcev in optimizacijo. Nekatere aplikacije nevronskih omrežij vključujejo nadzorovano učenje, druge pa nenadzorovano učenje. Primeri aplikacij vključujejo prepoznavanje strank z visoko vrednostjo, ki jim grozi, da bodo zapustile določeno podjetje, in prepoznavanje goljufivih zavarovalnih zahtevkov.

Preberite tudi:  40 osupljivih dejstev o velikih podatkih

1. Optimizacija

Portfelj numeričnih tehnik, ki se uporabljajo za preoblikovanje kompleksnih sistemov in procesov za izboljšanje njihove učinkovitosti v skladu z enim ali več objektivnimi merili (npr. stroški, hitrost ali zanesljivost). Primeri aplikacij vključujejo izboljšanje operativnih procesov, kot so načrtovanje, usmerjanje in razporeditev tal, ter sprejemanje strateških odločitev, kot so strategija nabora izdelkov, analiza povezanih naložb in strategija portfelja raziskav in razvoja. Genetski algoritmi so primer tehnike optimizacije.

V svojem naslednjem blogu bi opisal preostalih 13 analitičnih tehnik velikih podatkov.

Preberite: Naslednji del vpogleda v 26 analitičnih tehnik velikih podatkov