Ieskats 26 lielo datu analīzes paņēmienos: 1. daļa

“ Lielie dati ” ir specializētu paņēmienu un tehnoloģiju pielietojums ļoti lielu datu kopu apstrādei. Šīs datu kopas bieži ir tik lielas un sarežģītas, ka kļūst grūti apstrādāt, izmantojot esošos datu bāzes pārvaldības rīkus.

Informācijas tehnoloģiju radikālā izaugsme ir radījusi vairākus papildu nosacījumus nozarē. Viens no noturīgākajiem un neapšaubāmi aktuālākajiem rezultātiem ir lielo datu klātbūtne. Termins lielie dati ir īstermiņa frāze, kas tika radīta, lai aprakstītu milzīgu datu apjomu. Tik liela datu apjoma rezultāts ir datu analīze.

Datu analīze ir lielo datu strukturēšanas process. Lielajos datos ir dažādi modeļi un korelācijas, kas ļauj datu analītikai labāk aprēķināt datus. Tas padara datu analīzi par vienu no vissvarīgākajām informācijas tehnoloģiju daļām.

Tāpēc šeit es uzskaitu 26 lielo datu analīzes metodes. Šis saraksts nekādā ziņā nav pilnīgs.

1. A/B testēšana

A/B testēšana ir novērtēšanas rīks, lai noteiktu, kura tīmekļa lapas vai lietotnes versija palīdz organizācijai vai indivīdam efektīvāk sasniegt biznesa mērķi. Šis lēmums tiek pieņemts, salīdzinot, kura versija darbojas labāk. A/B testēšanu parasti izmanto tīmekļa izstrādē, lai nodrošinātu, ka izmaiņas tīmekļa lapā vai lapas komponentā nosaka dati, nevis personīgais viedoklis.

To sauc arī par noplūdes testēšanu vai kausa testēšanu.

Skatiet arī:  Lielo datu pelēkā zona — ko drīkst un ko nedrīkst

1. Asociācijas noteikumu apguve

Metožu kopums, lai atklātu interesantas attiecības, ti, “asociācijas noteikumus” starp mainīgajiem lielās datubāzēs. Šīs metodes sastāv no dažādiem algoritmiem iespējamo noteikumu ģenerēšanai un pārbaudei.

Viena no lietojumprogrammām ir tirgus groza analīze, kurā mazumtirgotājs var noteikt, kuri produkti bieži tiek iegādāti kopā, un izmantot šo informāciju mārketingam. (Bieži minēts piemērs ir atklājums, ka daudzi lielveikalu pircēji, kas pērk nachos, pērk arī alu.)

1. Klasifikācijas koka analīze

Statistiskā klasifikācija ir metode, kā identificēt kategorijas, kurām pieder jauns novērojums. Tam nepieciešams pareizi identificētu novērojumu apmācības kopums – citiem vārdiem sakot, vēsturiskie dati.

Statistiskā klasifikācija tiek izmantota, lai:

• Automātiski piešķirt dokumentus kategorijām
• Sadaliet organismus grupās
• Izveidojiet to studentu profilus, kuri apmeklē tiešsaistes kursus

1. Klasteru analīze

Statistikas metode objektu klasificēšanai, kas sadala daudzveidīgu grupu mazākās līdzīgu objektu grupās, kuru līdzības pazīmes nav iepriekš zināmas. Klasteru analīzes piemērs ir patērētāju segmentēšana sev līdzīgās grupās mērķtiecīgam mārketingam. Izmanto datu ieguvei.

1. Crowdsourcing

Izmantojot pūļa pakalpojumus, galvenā nianse ir tāda, ka uzdevums vai darbs tiek nodots ārpakalpojumu sniedzējam, bet nevis noteiktam profesionālim vai organizācijai, bet gan plašai sabiedrībai atklāta uzaicinājuma veidā. Crowdsourcing ir paņēmiens, ko var izmantot, lai apkopotu datus no dažādiem avotiem, piemēram, īsziņām, sociālo mediju atjauninājumiem, emuāriem utt. Šis ir masveida sadarbības veids un tīmekļa izmantošanas gadījums.

1. Datu saplūšana un datu integrācija

Daudzlīmeņu process, kas nodarbojas ar asociāciju, korelāciju, datu un informācijas apvienošanu no viena un vairākiem avotiem, lai sasniegtu rafinētu pozīciju, identificētu aplēses un pilnīgu un savlaicīgu situāciju, draudu un to nozīmīguma novērtējumu.

Datu saplūšanas metodes apvieno datus no vairākiem sensoriem un saistīto informāciju no saistītajām datu bāzēm, lai panāktu labāku precizitāti un specifiskākus secinājumus, nekā to varētu panākt, izmantojot vienu sensoru.

Skatiet arī:  Lielo datu analīzes rokasgrāmata iesācējiem

1. Datu ieguve

Datu ieguve ir datu šķirošana, lai identificētu modeļus un izveidotu attiecības. Datu ieguve attiecas uz kolektīvām datu ieguves metodēm, kas tiek veiktas lielam datu apjomam. Datu ieguves parametri ietver asociāciju, secību analīzi, klasifikāciju, klasterizāciju un prognozēšanu.

Lietojumprogrammas ietver klientu datu ieguvi, lai noteiktu segmentus, kas visticamāk reaģēs uz piedāvājumu, cilvēkresursu datu ieguvi, lai identificētu veiksmīgāko darbinieku īpašības, vai tirgus grozu analīzi, lai modelētu klientu pirkšanas uzvedību.

1. Ansambļa mācības

Tā ir māksla apvienot dažādus mācīšanās algoritmus, lai improvizētu par modeļa stabilitāti un paredzamo jaudu. Šis ir uzraudzītas mācīšanās veids.

1. Ģenētiskie algoritmi

Optimizācijas metodes, kas izmanto tādus procesus kā ģenētiska kombinācija, mutācija un dabiskā atlase dizainā, kas balstīts uz dabiskās evolūcijas koncepcijām. Ģenētiskie algoritmi ir paņēmieni, ko izmanto, lai identificētu visvairāk skatītos videoklipus, TV pārraides un citus mediju veidus. Pastāv evolūcijas modelis, ko var veikt, izmantojot ģenētiskus algoritmus. Video un mediju analīzi var veikt, izmantojot ģenētiskus algoritmus.

1. Mašīnmācība

Mašīnmācīšanās ir vēl viens paņēmiens, ko var izmantot, lai kategorizētu un noteiktu konkrētas datu kopas iespējamo iznākumu. Mašīnmācība definē programmatūru, kas var noteikt noteiktas notikumu kopas iespējamos rezultātus. Tāpēc to izmanto paredzamajā analīzē. Prognozējošās analītikas piemērs ir iespēja uzvarēt tiesas prāvās vai noteiktu iestudējumu panākumus.

1. Dabiskās valodas apstrāde

Metožu kopums no datorzinātņu apakšspecialitātes (jomā, kas vēsturiski saukta par “mākslīgo intelektu”) un valodniecībā, kas izmanto datora algoritmus, lai analizētu cilvēka (dabīgo) valodu. Daudzas NLP metodes ir mašīnmācīšanās veidi. Viena no NLP lietojumprogrammām izmanto sentimenta analīzi sociālajos medijos, lai noteiktu, kā potenciālie klienti reaģē uz zīmola kampaņu.

1. Neironu tīkli

Nelineārie prognozēšanas modeļi, kas mācās apmācībā un pēc struktūras atgādina bioloģiskos neironu tīklus. Tos var izmantot modeļu atpazīšanai un optimizēšanai. Dažas neironu tīklu lietojumprogrammas ir saistītas ar uzraudzītu mācīšanos, bet citas - bez uzraudzības. Lietojumprogrammu piemēri ietver vērtīgu klientu identificēšanu, kuriem ir risks pamest konkrētu uzņēmumu, un krāpniecisku apdrošināšanas atlīdzību atklāšanu.

Lasiet arī:  40 prātam neaptverami fakti par lielajiem datiem

1. Optimizācija

Skaitlisku metožu portfelis, ko izmanto, lai pārveidotu sarežģītas sistēmas un procesus, lai uzlabotu to veiktspēju atbilstoši vienam vai vairākiem objektīviem rādītājiem (piemēram, izmaksām, ātrumam vai uzticamībai). Lietojumprogrammu piemēri ietver darbības procesu uzlabošanu, piemēram, plānošanu, maršrutēšanu un stāvu izkārtojumu, un stratēģisku lēmumu pieņemšanu, piemēram, produktu klāsta stratēģiju, saistīto ieguldījumu analīzi un pētniecības un attīstības portfeļa stratēģiju. Ģenētiskie algoritmi ir optimizācijas tehnikas piemērs.

Savā nākamajā emuārā es aprakstīšu atlikušās 13 lielo datu analīzes metodes.

Lasiet: Nākamā daļa no ieskata 26 lielo datu analīzes paņēmienos