26 didelių duomenų analizės metodų įžvalga: 2 dalis

Iki šiol savo tinklaraščiuose apie didžiuosius duomenis supažindinau jus su įvairiais didžiųjų duomenų aspektais, pradedant nuo to, ką jie iš tikrųjų reiškia, baigiant faktais, ką daryti ir ko negalima. Į ankstesnio dienoraščio matėme kai kurių didelių duomenų "Analytics" metodus. Toliau šiame tinklaraštyje sąrašas.

1. Rašto atpažinimas

Modelių atpažinimas yra mašininio mokymosi šaka, kurioje pagrindinis dėmesys skiriamas duomenų modelių ir dėsningumų atpažinimui, nors kai kuriais atvejais jis laikomas beveik mašininio mokymosi sinonimu. Daugeliu atvejų modelių atpažinimo sistemos yra apmokomos pagal pažymėtus „mokymo“ duomenis (mokymasis prižiūrimas), tačiau kai nėra žymėtų duomenų, galima naudoti kitus algoritmus, kad būtų galima atrasti anksčiau nežinomus modelius (neprižiūrimas mokymasis).

1. Nuspėjamasis modeliavimas

Nuspėjamoji analizė apima įvairius metodus, kurie nuspėja būsimus rezultatus remiantis istoriniais ir dabartiniais duomenimis. Praktikoje nuspėjamoji analizė gali būti taikoma beveik visoms disciplinoms – nuo ​​reaktyvinių variklių gedimų numatymo pagal kelių tūkstančių jutiklių duomenų srautą iki kitų klientų žingsnių numatymo pagal tai, ką jie perka, kada perka ir net ką. jie sako socialiniuose tinkluose. Nuspėjamosios analizės metodai pirmiausia yra pagrįsti statistiniais metodais.

Taip pat žiūrėkite:  Didžiųjų duomenų analizės vadovas pradedantiesiems

1. Regresinė analizė

Tai metodas, kurio metu naudojami nepriklausomi kintamieji ir kaip jie veikia priklausomus kintamuosius. Tai gali būti labai naudingas metodas nustatant socialinės žiniasklaidos analizę, pvz., tikimybę rasti meilę per interneto platformą.

1. Sentimentų analizė

Sentimentų analizė padeda tyrėjams nustatyti kalbėtojų ar rašytojų nuotaikas, susijusias su tema. Sentimentų analizė naudojama siekiant padėti:

• Pagerinkite aptarnavimą viešbučių tinkle analizuodami svečių komentarus.
• Tinkinkite paskatas ir paslaugas, kad patenkintumėte tai, ko iš tikrųjų prašo klientai.
• Remdamiesi nuomonėmis iš socialinės žiniasklaidos, nustatykite, ką vartotojai iš tikrųjų galvoja.

1. Signalų apdorojimas

Signalų apdorojimas yra įgalinanti technologija, apimanti pagrindinę teoriją, taikomąsias programas, algoritmus ir informacijos apdorojimo arba perdavimo įgyvendinimą įvairiais fiziniais, simboliniais ar abstrakčiais formatais, plačiai vadinamais signalais . Jis naudoja matematinius, statistinius, skaičiavimo, euristinius ir kalbinius vaizdus, ​​formalizmus ir vaizdavimo, modeliavimo, analizės, sintezės, atradimo, atkūrimo, jutimo, gavimo, išgavimo, mokymosi, saugumo ar teismo ekspertizės metodus. Pavyzdinės programos apima laiko eilučių analizės modeliavimą arba duomenų suliejimo įgyvendinimą, siekiant nustatyti tikslesnį skaitymą, derinant duomenis iš ne tokių tikslių duomenų šaltinių (ty išimant signalą iš triukšmo).

1. Erdvinė analizė

Erdvinė analizė yra procesas, kurio metu neapdorotus duomenis paverčiame naudinga informacija. Tai erdvinių duomenų ypatybių vietų, atributų ir ryšių tyrimo procesas naudojant perdangą ir kitus analizės metodus, siekiant išspręsti klausimą arba įgyti naudingų žinių. Erdvinė analizė išgauna arba sukuria naują informaciją iš erdvinių duomenų.

1. Statistika

Statistikoje tiriamoji duomenų analizė yra duomenų rinkinių analizės metodas, siekiant apibendrinti jų pagrindines charakteristikas, dažnai naudojant vaizdinius metodus. Statistinis modelis gali būti naudojamas arba ne, bet pirmiausia EDA yra skirtas pamatyti, ką duomenys gali mums pasakyti, išskyrus formalų modeliavimo ar hipotezių tikrinimo užduotį. Statistiniai metodai taip pat naudojami siekiant sumažinti I tipo klaidų („klaidingų teigiamų rezultatų“) ir II tipo klaidų („klaidingų neigiamų“) tikimybę. Programos pavyzdys yra A/B testavimas, siekiant nustatyti, kokios rinkodaros medžiagos labiausiai padidins pajamas.

Taip pat žiūrėkite:  40 neįtikėtinų faktų apie didelius duomenis

1. Prižiūrimas mokymasis

Prižiūrimas mokymasis yra mašininio mokymosi užduotis, leidžianti nustatyti funkciją iš pažymėtų mokymo duomenų. Treniruočių duomenis sudaro mokymo pavyzdžių rinkinys . Prižiūrimo mokymosi atveju kiekvienas pavyzdys yra pora, susidedanti iš įvesties objekto (paprastai vektoriaus) ir norimos išvesties vertės (taip pat vadinamos priežiūros signalu ). Prižiūrimas mokymosi algoritmas analizuoja mokymo duomenis ir sukuria numanomą funkciją, kuri gali būti naudojama naujiems pavyzdžiams sudaryti.

1. Socialinių tinklų analizė

Socialinių tinklų analizė yra metodas, kuris pirmą kartą buvo naudojamas telekomunikacijų pramonėje, o vėliau sociologai greitai perėmė tarpasmeniniams santykiams tirti. Dabar ji taikoma analizuojant žmonių santykius daugelyje sričių ir komercinėje veikloje. Mazgai atstovauja asmenis tinkle, o ryšiai – santykius tarp asmenų.

1. Modeliavimas

Sudėtingų sistemų elgsenos modeliavimas, dažnai naudojamas prognozavimui, prognozavimui ir scenarijų planavimui. Pavyzdžiui, Monte Karlo modeliavimas yra algoritmų klasė, kuri remiasi pakartotine atsitiktine atranka, ty atlieka tūkstančius modeliavimų, kurių kiekviena grindžiama skirtingomis prielaidomis. Rezultatas yra histograma, kuri pateikia rezultatų tikimybių pasiskirstymą. Viena paraiška skirta įvertinti finansinių tikslų pasiekimo tikimybę, atsižvelgiant į neaiškumus dėl įvairių iniciatyvų sėkmės

1. Laiko eilučių analizė

Laiko eilučių analizė apima metodus, skirtus laiko eilučių duomenų analizei, siekiant išgauti reikšmingą statistiką ir kitas duomenų charakteristikas. Laiko eilučių duomenys dažnai atsiranda stebint pramonės procesus arba stebint įmonės verslo metrikas. Laiko eilučių analizė atsižvelgia į tai, kad per tam tikrą laiką paimti duomenų taškai gali turėti vidinę struktūrą (pvz., autokoreliaciją, tendenciją arba sezoninį kitimą), į kurią reikia atsižvelgti. Laiko eilučių analizės pavyzdžiai apima valandinę akcijų rinkos indekso vertę arba pacientų, kuriems kiekvieną dieną diagnozuojama tam tikra būklė, skaičių.

1. Mokymasis be priežiūros

Neprižiūrimas mokymasis yra mašininio mokymosi užduotis, pagal kurią iš nepažymėtų duomenų galima nustatyti funkciją, apibūdinančią paslėptą struktūrą. Kadangi besimokančiajam pateikiami pavyzdžiai yra be etikečių, nėra klaidos ar atlygio signalo, leidžiančio įvertinti galimą sprendimą – tai skiria neprižiūrimą mokymąsi nuo prižiūrimo mokymosi ir mokymosi pastiprinimo.

Tačiau nekontroliuojamas mokymasis apima ir daugybę kitų metodų, kuriais siekiama apibendrinti ir paaiškinti pagrindines duomenų savybes.

1. Vizualizacija

Duomenų vizualizavimas – tai duomenų paruošimas vaizdiniu arba grafiniu formatu. Tai leidžia sprendimų priėmėjams matyti vizualiai pateiktą analizę, kad jie galėtų suvokti sudėtingas sąvokas arba nustatyti naujus modelius. Naudodami interaktyvią vizualizaciją galite žengti dar vieną žingsnį į šią koncepciją, naudodami technologiją, kad įsigilintumėte į diagramas ir grafikus, kad gautumėte daugiau informacijos, interaktyviai keisdami, kokius duomenis matote ir kaip jie apdorojami.

Išvada

Didžiųjų duomenų analizė buvo vienas svarbiausių informacinių technologijų pramonės proveržių. Tiesą sakant, dideli duomenys parodė savo svarbą ir poreikį beveik visuose sektoriuose ir visuose tų pramonės šakų skyriuose. Nėra nei vieno gyvenimo aspekto, kurio nepaveiktų dideli duomenys, net mūsų asmeninis gyvenimas. Todėl mums reikia „Big Data Analytics“, kad galėtume efektyviai valdyti šiuos didžiulius duomenų kiekius.

Kaip minėta anksčiau, šis sąrašas nėra baigtinis. Tyrėjai vis dar eksperimentuoja ieškodami naujų būdų, kaip analizuoti šį didžiulį duomenų kiekį, kuris yra įvairių formų, kurių generavimo greitis laikui bėgant didėja, kad gautų reikšmes mūsų specifiniams tikslams.