Uvid u 26 analitičkih tehnika velikih podataka: 1. dio

' Veliki podaci ' je primjena specijaliziranih tehnika i tehnologija za obradu vrlo velikih skupova podataka. Ti su skupovi podataka često toliko veliki i složeni da ih je teško obraditi korištenjem priručnih alata za upravljanje bazom podataka.

Radikalan rast informacijske tehnologije doveo je do nekoliko komplementarnih uvjeta u industriji. Jedan od najustrajnijih i vjerojatno najprisutnijih ishoda je prisutnost Big Data. Izraz Big Data je fraza koja je skovana da opiše prisutnost ogromnih količina podataka. Posljedični učinak posjedovanja tako velike količine podataka je Data Analytics.

Data Analytics je proces strukturiranja velikih podataka. Unutar velikih podataka postoje različiti obrasci i korelacije koje analitici podataka omogućuju bolju izračunatu karakterizaciju podataka. To čini analizu podataka jednim od najvažnijih dijelova informacijske tehnologije.

Stoga ovdje navodim 26 tehnika analize velikih podataka. Ovaj popis nipošto nije konačan.

1. A/B testiranje

A/B testiranje je alat za procjenu za utvrđivanje koja verzija web-stranice ili aplikacije pomaže organizaciji ili pojedincu da učinkovitije ispuni poslovni cilj. Ova se odluka donosi usporedbom koja verzija nečega ima bolji učinak. A/B testiranje se obično koristi u web razvoju kako bi se osiguralo da su promjene na web stranici ili komponenti stranice potaknute podacima, a ne osobnim mišljenjem.

Naziva se i ispitivanjem izlijevanja ili ispitivanjem kantom.

Vidi također:  Siva zona velikih podataka – što treba i ne treba raditi

1. Učenje pravila asocijacija

Skup tehnika za otkrivanje zanimljivih odnosa, tj. "pravila pridruživanja" među varijablama u velikim bazama podataka. Te se tehnike sastoje od raznih algoritama za generiranje i testiranje mogućih pravila.

Jedna od aplikacija je analiza tržišne košarice, u kojoj trgovac na malo može odrediti koji se proizvodi često kupuju zajedno i koristiti te podatke za marketing. (Često citirani primjer je otkriće da mnogi kupci u supermarketima koji kupuju nachos kupuju i pivo.)

1. Analiza stabla klasifikacije

Statistička klasifikacija je metoda identificiranja kategorija kojima pripada novo opažanje. Zahtijeva skup za obuku ispravno identificiranih opažanja – drugim riječima povijesnih podataka.

Statistička klasifikacija se koristi za:

• Automatski dodijelite dokumente kategorijama
• Razvrstajte organizme u skupine
• Razviti profile studenata koji pohađaju online tečajeve

1. Analiza klastera

Statistička metoda za razvrstavanje objekata koja dijeli raznoliku skupinu u manje skupine sličnih objekata, čije karakteristike sličnosti nisu unaprijed poznate. Primjer klaster analize je segmentiranje potrošača u sebi slične grupe za ciljani marketing. Koristi se za rudarenje podataka.

1. Crowdsourcing

U crowdsourcingu, nijansa je u tome da se zadatak ili posao predaju vanjskim izvršiteljima, ali ne određenom stručnjaku ili organizaciji, već široj javnosti u obliku otvorenog poziva. Crowdsourcing je tehnika koja se može primijeniti za prikupljanje podataka iz različitih izvora kao što su tekstualne poruke, ažuriranja društvenih medija, blogovi itd. Ovo je vrsta masovne suradnje i primjer korištenja weba.

1. Spajanje podataka i integracija podataka

Višerazinski proces koji se bavi povezivanjem, korelacijom, kombinacijom podataka i informacija iz jednog i više izvora za postizanje pročišćene pozicije, utvrđivanje procjena te potpune i pravovremene procjene situacija, prijetnji i njihovog značaja.

Tehnike spajanja podataka kombiniraju podatke s više senzora i povezane informacije iz povezanih baza podataka kako bi se postigla poboljšana točnost i specifičnije zaključke nego što bi se moglo postići korištenjem samo jednog senzora.

Također pogledajte:  Vodič za početnike za analitiku velikih podataka

1. Data Mining

Data mining je sortiranje podataka kako bi se identificirali obrasci i uspostavili odnosi. Data mining se odnosi na kolektivne tehnike ekstrakcije podataka koje se izvode na velikoj količini podataka. Parametri rudarenja podataka uključuju povezivanje, analizu sekvence, klasifikaciju, grupiranje i predviđanje.

Aplikacije uključuju prikupljanje podataka o kupcima kako bi se odredili segmenti koji će najvjerojatnije odgovoriti na ponudu, rudarenje podataka o ljudskim resursima kako bi se identificirale karakteristike najuspješnijih zaposlenika ili analizu tržišne košarice za modeliranje kupovnog ponašanja kupaca.

1. Ansambl učenje

To je umjetnost kombiniranja različitih skupova algoritama učenja zajedno kako bi se improvizirala stabilnost i prediktivna snaga modela. Ovo je vrsta učenja pod nadzorom.

1. Genetski algoritmi

Tehnike optimizacije koje koriste procese kao što su genetska kombinacija, mutacija i prirodna selekcija u dizajnu koji se temelji na konceptima prirodne evolucije. Genetski algoritmi su tehnike koje se koriste za identifikaciju najgledanijih videa, TV emisija i drugih oblika medija. Postoji evolucijski obrazac koji se može postići korištenjem genetskih algoritama. Video i medijska analitika može se obaviti korištenjem genetskih algoritama.

1. Strojno učenje

Strojno učenje je još jedna tehnika koja se može koristiti za kategorije i određivanje vjerojatnog ishoda određenog skupa podataka. Strojno učenje definira softver koji može odrediti moguće ishode određenog skupa događaja. Stoga se koristi u prediktivnoj analitici. Primjer prediktivne analitike je vjerojatnost pobjede u pravnim sporovima ili uspjeh određenih produkcija.

1. Obrada prirodnog jezika

Skup tehnika iz podspecijalnosti računalne znanosti (unutar područja koje se povijesno naziva "umjetna inteligencija") i lingvistike koja koristi računalne algoritme za analizu ljudskog (prirodnog) jezika. Mnoge NLP tehnike su vrste strojnog učenja. Jedna od primjena NLP-a je korištenje analize sentimenta na društvenim medijima kako bi se utvrdilo kako potencijalni kupci reagiraju na kampanju brendiranja.

1. Neuronske mreže

Nelinearni prediktivni modeli koji uče kroz obuku i po strukturi nalikuju biološkim neuronskim mrežama. Mogu se koristiti za prepoznavanje uzoraka i optimizaciju. Neke aplikacije neuronske mreže uključuju učenje pod nadzorom, a druge uključuju učenje bez nadzora. Primjeri aplikacija uključuju prepoznavanje klijenata visoke vrijednosti koji su u opasnosti od napuštanja određene tvrtke i identificiranje lažnih potraživanja u osiguranju.

Pročitajte također:  40 zapanjujućih činjenica o velikim podacima

1. Optimizacija

Portfelj numeričkih tehnika koje se koriste za redizajn složenih sustava i procesa za poboljšanje njihove izvedbe prema jednoj ili više objektivnih mjera (npr. cijena, brzina ili pouzdanost). Primjeri aplikacija uključuju poboljšanje operativnih procesa kao što su zakazivanje, usmjeravanje i tlocrt, te donošenje strateških odluka kao što su strategija asortimana proizvoda, analiza povezanih ulaganja i strategija portfelja istraživanja i razvoja. Genetski algoritmi primjer su tehnike optimizacije.

U svom sljedećem blogu opisao bih preostalih 13 tehnika analize velikih podataka.

Pročitajte: Sljedeći dio uvida u 26 analitičkih tehnika velikih podataka