Sissevaade 26 suurandmete analüüsitehnikasse: 1. osa

" Suurandmed " on spetsiaalsete tehnikate ja tehnoloogiate rakendamine väga suurte andmehulkade töötlemiseks. Need andmekogumid on sageli nii suured ja keerulised, et neid on raske töödelda olemasolevate andmebaasihaldustööriistade abil.

Infotehnoloogia radikaalne kasv on toonud kaasa mitmeid täiendavaid tingimusi tööstuses. Üks püsivamaid ja vaieldamatult kõige aktuaalsemaid tulemusi on suurandmete olemasolu. Suure andmemahu olemasolu kirjeldamiseks võeti kasutusele mõiste suurandmed. Sellise suure andmehulga tulemuseks on andmeanalüüs.

Andmeanalüüs on suurandmete struktureerimise protsess. Suurandmetes on erinevad mustrid ja korrelatsioonid, mis võimaldavad andmeanalüütikal andmeid paremini arvutada. See muudab andmeanalüütika infotehnoloogia üheks olulisemaks osaks.

Seetõttu loetlen siin 26 suurandmete analüüsi tehnikat. See nimekiri pole sugugi ammendav.

1. A/B testimine

A/B testimine on hindamistööriist, mille abil saab kindlaks teha, milline veebilehe või rakenduse versioon aitab organisatsioonil või üksikisikul ärieesmärki tõhusamalt täita. Selle otsuse tegemiseks võrreldakse, milline millegi versioon töötab paremini. A/B-testimist kasutatakse tavaliselt veebiarenduses tagamaks, et veebilehe või lehe komponendi muudatused põhinevad andmetel, mitte isiklikul arvamusel.

Seda nimetatakse ka lekkimistestiks või ämbritestiks.

Vaata ka:  Suurandmete hall ala – mida tohib ja mida mitte

1. Ühingu reeglite õppimine

Tehnikakomplekt huvitavate seoste, st "seostusreeglite" avastamiseks suurtes andmebaasides muutujate seas. Need tehnikad koosnevad erinevatest algoritmidest võimalike reeglite genereerimiseks ja testimiseks.

Üks rakendus on turukorvi analüüs, mille käigus jaemüüja saab kindlaks teha, milliseid tooteid sageli koos ostetakse, ja kasutada seda teavet turunduses. (Tavaliselt tsiteeritud näide on avastus, et paljud supermarketite ostjad, kes ostavad nachosid, ostavad ka õlut.)

1. Klassifikatsioonipuu analüüs

Statistiline klassifikatsioon on meetod kategooriate tuvastamiseks, millesse uus vaatlus kuulub. See nõuab õigesti tuvastatud vaatluste koolituskomplekti – teisisõnu ajaloolisi andmeid.

Statistilist klassifikatsiooni kasutatakse:

• Määrake dokumendid automaatselt kategooriatesse
• Jaotage organismid rühmadesse
• Töötage välja veebikursustel osalevate õpilaste profiilid

1. Klastri analüüs

Statistiline meetod objektide klassifitseerimiseks, mis jagab mitmekesise rühma väiksemateks sarnaste objektide rühmadeks, mille sarnasuse tunnused pole ette teada. Klasteranalüüsi näide on tarbijate segmenteerimine isesarnasteks rühmadeks sihtturunduse jaoks. Kasutatakse andmete kaevandamiseks.

1. Crowdsourcing

Ühishanke puhul on nüanss selles, et ülesanne või töö tellitakse allhanke korras, kuid mitte määratud spetsialistile või organisatsioonile, vaid avalikkusele avaliku konkursi vormis. Crowdsourcing on tehnika, mida saab kasutada andmete kogumiseks erinevatest allikatest, nagu tekstisõnumid, sotsiaalmeedia värskendused, ajaveebid jne. See on massilise koostöö tüüp ja veebi kasutamise näide.

1. Andmete liitmine ja andmete integreerimine

Mitmetasandiline protsess, mis käsitleb ühest ja mitmest allikast pärinevate andmete ja teabe seostamist, korrelatsiooni, kombineerimist, et saavutada täpsem positsioon, teha kindlaks hinnangud ning olukordade, ohtude ja nende olulisuse täielik ja õigeaegne hindamine.

Andmete liitmise tehnikad ühendavad mitme anduri andmed ja seotud teabega seotud andmebaasidest, et saavutada suurem täpsus ja täpsemad järeldused, kui oleks võimalik saavutada ainult ühe anduri kasutamisega.

Vaata ka:  Big Data Analyticsi juhend algajatele

1. Andmete kaevandamine

Andmekaevandamine sorteerib andmeid, et tuvastada mustreid ja luua seoseid. Andmekaeve all mõeldakse kollektiivseid andmete ekstraheerimise tehnikaid, mida teostatakse suure andmemahu puhul. Andmekaeve parameetrid hõlmavad seost, järjestuste analüüsi, klassifitseerimist, rühmitamist ja prognoosimist.

Rakendused hõlmavad kliendiandmete kaevandamist, et määrata segmendid, mis kõige tõenäolisemalt pakkumisele reageerivad, inimressursside andmete kaevandamist edukaimate töötajate omaduste tuvastamiseks või turukorvi analüüsi, et modelleerida klientide ostukäitumist.

1. Ansambliõpe

See on kunst erinevate õppealgoritmide kombineerimiseks, et improviseerida mudeli stabiilsust ja ennustavat jõudu. See on juhendatud õppe tüüp.

1. Geneetilised algoritmid

Optimeerimistehnikad, mis kasutavad loodusliku evolutsiooni kontseptsioonidel põhinevas disainis selliseid protsesse nagu geneetiline kombinatsioon, mutatsioon ja looduslik valik. Geneetilised algoritmid on tehnikad, mida kasutatakse enim vaadatud videote, telesaadete ja muude meediavormide tuvastamiseks. On olemas evolutsiooniline muster, mida saab teha geneetiliste algoritmide abil. Video- ja meediaanalüütikat saab teha geneetiliste algoritmide abil.

1. Masinõpe

Masinõpe on veel üks tehnika, mida saab kasutada kategoriseerimiseks ja konkreetse andmekogumi tõenäolise tulemuse määramiseks. Masinõpe määratleb tarkvara, mis suudab määrata teatud sündmuse võimalikud tulemused. Seetõttu kasutatakse seda ennustavas analüütikas. Ennustava analüüsi näide on kohtuasjade võitmise tõenäosus või teatud lavastuste edu.

1. Loomuliku keele töötlemine

Arvutiteaduse (ajalooliselt "tehisintellektiks" nimetatud valdkonna) ja lingvistika tehnikate kogum, mis kasutab inimese (loomuliku) keele analüüsimiseks arvutialgoritme. Paljud NLP tehnikad on masinõppe tüübid. Üks NLP rakendus kasutab sentimentide analüüsi sotsiaalmeedias, et teha kindlaks, kuidas potentsiaalsed kliendid reageerivad kaubamärgikampaaniale.

1. Närvivõrgud

Mittelineaarsed ennustavad mudelid, mis õpivad koolituse kaudu ja sarnanevad struktuurilt bioloogiliste närvivõrkudega. Neid saab kasutada mustrite tuvastamiseks ja optimeerimiseks. Mõned närvivõrgurakendused hõlmavad juhendatud õppimist ja teised järelevalveta õppimist. Rakenduste näideteks on selliste väärtuslike klientide tuvastamine, kellel on oht konkreetsest ettevõttest lahkuda, ja petturlike kindlustusnõuete tuvastamine.

Loe ka:  40 hämmastavat fakti suurandmete kohta

1. Optimeerimine

Arvuliste tehnikate portfell, mida kasutatakse keerukate süsteemide ja protsesside ümberkujundamiseks, et parandada nende jõudlust vastavalt ühele või mitmele objektiivsele mõõdupuule (nt kulu, kiirus või töökindlus). Rakenduste näidete hulka kuuluvad tööprotsesside (nt ajakava, marsruutimine ja korruste paigutus) täiustamine ning selliste strateegiliste otsuste tegemine nagu tootevaliku strateegia, seotud investeeringute analüüs ning teadus- ja arendustegevuse portfellistrateegia. Geneetilised algoritmid on optimeerimistehnika näide.

Oma järgmises ajaveebis kirjeldaksin ülejäänud 13 suurandmete analüüsi tehnikat.

Loe: Järgmine osa ülevaatest 26 suurandmete analüüsitehnikasse