Betekintés 26 Big Data elemzési technikába: 2. rész

Mostanáig a Big Data- ról szóló blogjaimban megismertettem Önt a Big Data különböző aspektusaival, a Mit jelent valójában a tényekig, és mit kell tenni és mit nem. Az előző blogban láthattunk néhány Big Data Analytics technikát. A lista továbblépése ebben a blogban.

1. Mintafelismerés

A mintafelismerés a gépi tanulás egyik ága, amely az adatok mintáinak és szabályszerűségeinek felismerésére összpontosít, bár egyes esetekben szinte a gépi tanulás szinonimájaként tartják számon. A mintafelismerő rendszereket sok esetben a megjelölt „képzési” adatokból képezik ki (felügyelt tanulás), de ha nem állnak rendelkezésre címkézett adatok, más algoritmusok is használhatók a korábban ismeretlen minták felfedezésére (felügyelt tanulás).

1. Prediktív modellezés

A prediktív analitika számos technikát tartalmaz, amelyek a múltbeli és jelenlegi adatok alapján jósolják meg a jövőbeli eredményeket. A gyakorlatban a prediktív analitika szinte minden tudományterületen alkalmazható – a sugárhajtóművek meghibásodásának előrejelzésétől a több ezer érzékelőtől származó adatfolyam alapján egészen az ügyfelek következő lépéseinek előrejelzéséig az alapján, hogy mit vásárolnak, mikor vásárolnak, és még azt is, hogy mit. mondják a közösségi oldalakon. A prediktív analitikai technikák elsősorban statisztikai módszereken alapulnak.

Lásd még:  Útmutató kezdőknek a Big Data Analyticshez

1. Regresszió analízis

Ez egy olyan technika, amely független változók használatát veszi figyelembe, és azt, hogy ezek hogyan befolyásolják a függő változókat. Ez egy nagyon hasznos technika lehet a közösségi média elemzésének meghatározásában, például annak a valószínűségében, hogy egy internetes platformon keresztül szerelmet találhatunk.

1. Érzelemelemzés

A hangulatelemzés segít a kutatóknak meghatározni az előadók vagy írók érzelmeit egy témával kapcsolatban. A hangulatelemzést a következőkre használják:

• A vendégek megjegyzéseinek elemzésével javíthatja a szállodalánc szolgáltatásait.
• Testreszabhatja az ösztönzőket és a szolgáltatásokat, hogy megfeleljen az ügyfeleknek valójában.
• Határozza meg, mit gondolnak valójában a fogyasztók a közösségi médiából származó vélemények alapján.

1. Jelfeldolgozás

A jelfeldolgozás olyan lehetővé tevő technológia, amely magában foglalja az információ feldolgozásának vagy átvitelének alapvető elméleteit, alkalmazásait, algoritmusait és megvalósításait számos különböző fizikai, szimbolikus vagy absztrakt formátumban, amelyet széles körben jelnek neveznek . Matematikai, statisztikai, számítási, heurisztikus és nyelvi reprezentációkat, formalizmusokat és technikákat használ reprezentációhoz, modellezéshez, elemzéshez, szintézishez, felfedezéshez, helyreállításhoz, érzékeléshez, beszerzéshez, kinyeréshez, tanuláshoz, biztonsághoz vagy kriminalisztikai vizsgálatokhoz. A példaalkalmazások közé tartozik az idősorelemzés modellezése vagy az adatfúzió megvalósítása a pontosabb leolvasás meghatározásához kevésbé pontos adatforrásokból származó adatok kombinálásával (azaz a zajból a jel kinyerésével).

1. Térbeli elemzés

A térbeli elemzés az a folyamat, amelynek során a nyers adatokat hasznos információvá alakítjuk. Ez az a folyamat, amelynek során a téradatokban található jellemzők elhelyezkedését, attribútumait és kapcsolatait átfedéssel és más elemzési technikákkal vizsgálják egy kérdés megválaszolása vagy hasznos ismeretek megszerzése érdekében. A térbeli elemzés a téradatokból nyeri ki vagy hoz létre új információkat.

1. Statisztika

A statisztikában a feltáró adatelemzés az adathalmazok fő jellemzőinek – gyakran vizuális módszerekkel történő – összegzése céljából történő elemzésének megközelítése. A statisztikai modell használható vagy nem, de az EDA elsősorban arra szolgál, hogy megnézzük, mit árulnak el az adatok a formális modellezési vagy hipotézisvizsgálati feladaton túl. Statisztikai technikákat is alkalmaznak az I. típusú hibák („hamis pozitívak”) és a II. típusú hibák („hamis negatívok”) valószínűségének csökkentésére. Példa erre az alkalmazásra az A/B tesztelés annak meghatározására, hogy milyen típusú marketinganyagok növelik leginkább a bevételt.

Lásd még:  40 elképesztő tény a nagy adathalmazokról

1. Felügyelt tanulás

A felügyelt tanulás egy olyan gépi tanulási feladat, amelynek során a címkézett betanítási adatokból függvényre lehet következtetni. A képzési adatok egy sor képzési példát tartalmaznak . A felügyelt tanulásban minden példa egy pár, amely egy bemeneti objektumból (általában egy vektorból) és egy kívánt kimeneti értékből áll (amelyet felügyelő jelnek is neveznek ). Egy felügyelt tanulási algoritmus elemzi a betanítási adatokat, és kikövetkeztetett függvényt állít elő, amely felhasználható új példák leképezésére.

1. Közösségi hálózat elemzése

A közösségi hálózatok elemzése egy olyan technika, amelyet először a távközlési iparban használtak, majd a szociológusok gyorsan átvették az interperszonális kapcsolatok tanulmányozására. Ma már számos területen és kereskedelmi tevékenységben alkalmazzák az emberek közötti kapcsolatok elemzésére. A csomópontok a hálózaton belüli egyéneket, míg a kapcsolatok az egyének közötti kapcsolatokat képviselik.

1. Szimuláció

Komplex rendszerek viselkedésének modellezése, gyakran használják előrejelzésre, előrejelzésre és forgatókönyv-tervezésre. A Monte Carlo-szimulációk például az algoritmusok egy osztálya, amelyek ismételt véletlenszerű mintavételen alapulnak, azaz több ezer szimulációt futtatnak, amelyek mindegyike más-más feltevéseken alapul. Az eredmény egy hisztogram, amely az eredmények valószínűségi eloszlását adja meg. Az egyik alkalmazás a pénzügyi célok teljesítésének valószínűségét értékeli, tekintettel a különböző kezdeményezések sikerével kapcsolatos bizonytalanságokra

1. Idősor elemzés

Az idősorelemzés az idősorok adatainak elemzésére szolgáló módszereket foglal magában annak érdekében, hogy értelmes statisztikákat és az adatok egyéb jellemzőit nyerjék ki. Az idősoros adatok gyakran az ipari folyamatok nyomon követésekor vagy a vállalati üzleti mutatók nyomon követésekor merülnek fel. Az idősor-elemzés figyelembe veszi azt a tényt, hogy az idő függvényében vett adatpontoknak belső szerkezetük lehet (például autokorreláció, trend vagy szezonális változás), amelyet figyelembe kell venni. Az idősorelemzés példái közé tartozik egy tőzsdeindex óránkénti értéke, vagy az adott állapottal diagnosztizált betegek száma naponta.

1. Felügyelet nélküli tanulás

A felügyelet nélküli tanulás egy olyan gépi tanulási feladat, amelynek során a rejtett struktúrát leíró függvényre lehet következtetni a címkézetlen adatokból. Mivel a tanulónak adott példák címke nélküliek, nincs hiba- vagy jutalomjelzés a lehetséges megoldás értékeléséhez – ez megkülönbözteti a felügyelet nélküli tanulást a felügyelt tanulástól és a megerősített tanulástól.

A felügyelet nélküli tanulás azonban számos más technikát is magában foglal, amelyek az adatok főbb jellemzőit kívánják összefoglalni és elmagyarázni.

1. Megjelenítés

Az adatvizualizáció az adatok képi vagy grafikus formátumú előkészítése. Lehetővé teszi a döntéshozók számára, hogy vizuálisan lássák az elemzéseket, így képesek megragadni a bonyolult fogalmakat vagy új mintákat azonosítani. Az interaktív vizualizációval egy lépéssel tovább viheti a koncepciót azáltal, hogy a technológia segítségével diagramokba és grafikonokba mélyedhet részletesebben, interaktívan megváltoztatva, hogy milyen adatokat lát és hogyan dolgozza fel azokat.

Következtetés

A nagy adatelemzés az egyik legfontosabb áttörés az információs technológiai iparban. Valójában a Big Data megmutatta jelentőségét és szükségességét szinte minden szektorban, és ezen iparágak minden részlegében. Az életnek nincs egyetlen olyan területe sem, amelyet ne érintett volna a Big Data, még a személyes életünk sem. Ezért szükségünk van a Big Data Analyticsre, hogy hatékonyan kezeljük ezt a hatalmas adatmennyiséget.

Mint korábban említettük, ez a lista nem teljes. A kutatók még mindig új módszerekkel kísérleteznek e hatalmas mennyiségű adat elemzésére, amely sokféle formában van jelen, és a generálás sebessége az idő előrehaladtával növekszik, hogy értéket lehessen levonni sajátos felhasználásunkhoz.