Betekintés 26 Big Data elemzési technikába: 1. rész

A „ Big Data ” speciális technikák és technológiák alkalmazása nagyon nagy adathalmazok feldolgozására. Ezek az adatkészletek gyakran olyan nagyok és összetettek, hogy nehézkessé válik a feldolgozás a kézben lévő adatbázis-kezelő eszközökkel.

Az információs technológia radikális növekedése számos kiegészítő feltételhez vezetett az iparágban. Az egyik legmaradandóbb és vitathatatlanul leginkább jelenlévő eredmény a Big Data jelenléte. A Big Data kifejezést a hatalmas mennyiségű adat jelenlétének leírására találták ki. Az ilyen hatalmas adatmennyiség eredménye az adatelemzés.

Az adatelemzés a Big Data strukturálásának folyamata. A Big Data-n belül különböző minták és összefüggések léteznek, amelyek lehetővé teszik az adatelemzés számára, hogy jobban kiszámíthatóan jellemezze az adatokat. Ez teszi az adatelemzést az információs technológia egyik legfontosabb részévé.

Ezért itt felsorolom a 26 big data elemzési technikát. Ez a lista semmiképpen sem teljes.

1. A/B tesztelés

Az A/B tesztelés egy értékelő eszköz annak meghatározására, hogy egy weboldal vagy egy alkalmazás melyik verziója segíti a szervezetet vagy egyént az üzleti célok hatékonyabb elérésében. Ezt a döntést úgy hozzák meg, hogy összehasonlítják, hogy valaminek melyik verziója teljesít jobban. Az A/B tesztelést általában a webfejlesztésben használják annak biztosítására, hogy a weboldalon vagy az oldalelemen végrehajtott változtatásokat adatok, és nem személyes vélemények vezéreljék.

Kiömlött tesztnek vagy vödörtesztnek is nevezik.

Lásd még:  The Big Data Gray Area – Mit kell és mit ne tegyünk

1. Társulási Szabálytanulás

Egy sor technikát érdekes kapcsolatok, azaz „társítási szabályok” felfedezésére nagy adatbázisok változói között. Ezek a technikák számos algoritmusból állnak a lehetséges szabályok generálására és tesztelésére.

Az egyik alkalmazás a piaci kosárelemzés, amelyben a kiskereskedő meghatározhatja, hogy mely termékeket vásárolja gyakran együtt, és ezt az információt marketing céljára felhasználhatja. (Gyakran emlegetett példa az a felfedezés, hogy sok szupermarket vásárló, aki nachot vásárol, sört is vásárol.)

1. Osztályozási fa elemzése

A statisztikai osztályozás egy módszer az új megfigyelésekhez tartozó kategóriák azonosítására. Ehhez helyesen azonosított megfigyelések – más szóval történelmi adatok – képzési sorozatára van szükség.

A statisztikai osztályozást a következőkre használják:

• Dokumentumok automatikus hozzárendelése kategóriákhoz
• Csoportosítsa az élőlényeket csoportokba
• Profilok létrehozása az online kurzusokon részt vevő hallgatókról

1. Klaszteranalízis

Statisztikai módszer objektumok osztályozására, amely egy változatos csoportot olyan hasonló objektumok kisebb csoportjaira bont, amelyek hasonlósági jellemzői előre nem ismertek. A klaszterelemzés egyik példája a fogyasztók önhasonló csoportokba bontása a célzott marketing érdekében. Adatbányászathoz használják.

1. Crowdsourcing

A crowdsourcing esetében az árnyalat az, hogy egy feladatot vagy munkát kiszerveznek, de nem egy kijelölt szakemberhez vagy szervezethez, hanem a nagyközönséghez, nyílt felhívás formájában. A Crowdsourcing olyan technika, amely különféle forrásokból, például szöveges üzenetekből, közösségimédia-frissítésekből, blogokból stb. származó adatok gyűjtésére használható. Ez a tömeges együttműködés egy fajtája és a web használatának egy példája.

1. Adatfúzió és adatintegráció

Többszintű folyamat, amely egyetlen és több forrásból származó adatok és információk társításával, összefüggéseivel, kombinálásával foglalkozik a finomabb pozíció elérése, a becslések azonosítása, valamint a helyzetek, veszélyek és jelentőségük teljes és időben történő értékelése.

Az adatfúziós technikák több érzékelőtől származó adatokat és kapcsolódó adatbázisokból származó információkat kombinálnak, hogy nagyobb pontosságot és specifikusabb következtetéseket érjenek el, mint amit egyetlen érzékelő használatával lehetne elérni.

Lásd még:  Útmutató kezdőknek a Big Data Analyticshez

1. Adatbányászat

Az adatbányászat az adatok válogatása a minták azonosítása és a kapcsolatok létrehozása érdekében. Az adatbányászat olyan kollektív adatkinyerési technikákra utal, amelyeket nagy mennyiségű adaton hajtanak végre. Az adatbányászati ​​paraméterek közé tartozik az asszociáció, a szekvenciaelemzés, az osztályozás, a klaszterezés és az előrejelzés.

Az alkalmazások közé tartozik az ügyféladatok bányászata az ajánlatra leginkább reagáló szegmensek meghatározására, a humánerőforrás-adatok bányászása a legsikeresebb alkalmazottak jellemzőinek azonosítására, vagy a piaci kosárelemzés az ügyfelek vásárlási viselkedésének modellezésére.

1. Együttes tanulás

Ez a különféle tanulási algoritmusok kombinálásának művészete a modell stabilitásának és előrejelző erejének improvizációja érdekében. Ez a felügyelt tanulás egy fajtája.

1. Genetikai algoritmusok

Optimalizációs technikák, amelyek olyan folyamatokat alkalmaznak, mint a genetikai kombináció, a mutáció és a természetes szelekció a természetes evolúció elvein alapuló tervezésben. A genetikai algoritmusok olyan technikák, amelyeket a legnézettebb videók, TV-műsorok és egyéb médiaformák azonosítására használnak. Létezik egy evolúciós minta, amely genetikai algoritmusok használatával megvalósítható. A videó- ​​és médiaelemzés genetikai algoritmusok segítségével végezhető el.

1. Gépi tanulás

A gépi tanulás egy másik technika, amellyel kategorizálható és meghatározható egy adott adathalmaz várható kimenetele. A gépi tanulás egy olyan szoftvert definiál, amely képes meghatározni egy adott eseményhalmaz lehetséges kimenetelét. Ezért használják a prediktív analitikában. A prediktív elemzésre példa a jogi perek megnyerésének valószínűsége vagy bizonyos produkciók sikere.

1. Természetes nyelvi feldolgozás

A számítástechnika (a történelmileg „mesterséges intelligencia”-nak nevezett terület) és a nyelvészet egyik részterületéről származó technikák halmaza, amely számítógépes algoritmusokat használ az emberi (természetes) nyelv elemzésére. Sok NLP technika a gépi tanulás típusa. Az NLP egyik alkalmazása hangulatelemzést használ a közösségi médiában annak meghatározására, hogy a leendő ügyfelek hogyan reagálnak a márkaépítési kampányra.

1. Neurális hálózatok

Nemlineáris prediktív modellek, amelyek képzésen keresztül tanulnak, és szerkezetükben a biológiai neurális hálózatokhoz hasonlítanak. Használhatók mintafelismerésre és optimalizálásra. Egyes neurális hálózati alkalmazások felügyelt tanulást, mások pedig felügyelt tanulást foglalnak magukban. Az alkalmazások közé tartozik például a nagy értékű ügyfelek azonosítása, akiknél fennáll annak a veszélye, hogy elhagyják egy adott társaságot, valamint a csalárd biztosítási kárigények azonosítása.

Olvassa el még:  40 elképesztő tény a nagy adathalmazokról

1. Optimalizálás

Numerikus technikák portfóliója, amelyet összetett rendszerek és folyamatok újratervezésére használnak, hogy javítsák teljesítményüket egy vagy több objektív mérőszám (pl. költség, sebesség vagy megbízhatóság) szerint. Az alkalmazások példái közé tartozik a működési folyamatok, például az ütemezés, az útválasztás és a padló elrendezésének javítása, valamint a stratégiai döntések meghozatala, például a termékskála-stratégia, a kapcsolódó befektetési elemzés és a K+F portfólióstratégia. A genetikai algoritmusok egy optimalizálási technika példái.

Következő blogomban leírom a fennmaradó 13 Big Data Analytics technikát.

Olvassa el: A 26 Big Data elemzési technikájába való betekintés következő része