Mostanáig a Big Data- ról szóló blogjaimban megismertettem Önt a Big Data különböző aspektusaival, a Mit jelent valójában a tényekig, és mit kell tenni és mit nem. Az előző blogban láthattunk néhány Big Data Analytics technikát. A lista továbblépése ebben a blogban.
A mintafelismerés a gépi tanulás egyik ága, amely az adatok mintáinak és szabályszerűségeinek felismerésére összpontosít, bár egyes esetekben szinte a gépi tanulás szinonimájaként tartják számon. A mintafelismerő rendszereket sok esetben a megjelölt „képzési” adatokból képezik ki (felügyelt tanulás), de ha nem állnak rendelkezésre címkézett adatok, más algoritmusok is használhatók a korábban ismeretlen minták felfedezésére (felügyelt tanulás).
A prediktív analitika számos technikát tartalmaz, amelyek a múltbeli és jelenlegi adatok alapján jósolják meg a jövőbeli eredményeket. A gyakorlatban a prediktív analitika szinte minden tudományterületen alkalmazható – a sugárhajtóművek meghibásodásának előrejelzésétől a több ezer érzékelőtől származó adatfolyam alapján egészen az ügyfelek következő lépéseinek előrejelzéséig az alapján, hogy mit vásárolnak, mikor vásárolnak, és még azt is, hogy mit. mondják a közösségi oldalakon. A prediktív analitikai technikák elsősorban statisztikai módszereken alapulnak.
Lásd még: Útmutató kezdőknek a Big Data Analyticshez
Ez egy olyan technika, amely független változók használatát veszi figyelembe, és azt, hogy ezek hogyan befolyásolják a függő változókat. Ez egy nagyon hasznos technika lehet a közösségi média elemzésének meghatározásában, például annak a valószínűségében, hogy egy internetes platformon keresztül szerelmet találhatunk.
A hangulatelemzés segít a kutatóknak meghatározni az előadók vagy írók érzelmeit egy témával kapcsolatban. A hangulatelemzést a következőkre használják:
A jelfeldolgozás olyan lehetővé tevő technológia, amely magában foglalja az információ feldolgozásának vagy átvitelének alapvető elméleteit, alkalmazásait, algoritmusait és megvalósításait számos különböző fizikai, szimbolikus vagy absztrakt formátumban, amelyet széles körben jelnek neveznek . Matematikai, statisztikai, számítási, heurisztikus és nyelvi reprezentációkat, formalizmusokat és technikákat használ reprezentációhoz, modellezéshez, elemzéshez, szintézishez, felfedezéshez, helyreállításhoz, érzékeléshez, beszerzéshez, kinyeréshez, tanuláshoz, biztonsághoz vagy kriminalisztikai vizsgálatokhoz. A példaalkalmazások közé tartozik az idősorelemzés modellezése vagy az adatfúzió megvalósítása a pontosabb leolvasás meghatározásához kevésbé pontos adatforrásokból származó adatok kombinálásával (azaz a zajból a jel kinyerésével).
A térbeli elemzés az a folyamat, amelynek során a nyers adatokat hasznos információvá alakítjuk. Ez az a folyamat, amelynek során a téradatokban található jellemzők elhelyezkedését, attribútumait és kapcsolatait átfedéssel és más elemzési technikákkal vizsgálják egy kérdés megválaszolása vagy hasznos ismeretek megszerzése érdekében. A térbeli elemzés a téradatokból nyeri ki vagy hoz létre új információkat.
A statisztikában a feltáró adatelemzés az adathalmazok fő jellemzőinek – gyakran vizuális módszerekkel történő – összegzése céljából történő elemzésének megközelítése. A statisztikai modell használható vagy nem, de az EDA elsősorban arra szolgál, hogy megnézzük, mit árulnak el az adatok a formális modellezési vagy hipotézisvizsgálati feladaton túl. Statisztikai technikákat is alkalmaznak az I. típusú hibák („hamis pozitívak”) és a II. típusú hibák („hamis negatívok”) valószínűségének csökkentésére. Példa erre az alkalmazásra az A/B tesztelés annak meghatározására, hogy milyen típusú marketinganyagok növelik leginkább a bevételt.
Lásd még: 40 elképesztő tény a nagy adathalmazokról
A felügyelt tanulás egy olyan gépi tanulási feladat, amelynek során a címkézett betanítási adatokból függvényre lehet következtetni. A képzési adatok egy sor képzési példát tartalmaznak . A felügyelt tanulásban minden példa egy pár, amely egy bemeneti objektumból (általában egy vektorból) és egy kívánt kimeneti értékből áll (amelyet felügyelő jelnek is neveznek ). Egy felügyelt tanulási algoritmus elemzi a betanítási adatokat, és kikövetkeztetett függvényt állít elő, amely felhasználható új példák leképezésére.
A közösségi hálózatok elemzése egy olyan technika, amelyet először a távközlési iparban használtak, majd a szociológusok gyorsan átvették az interperszonális kapcsolatok tanulmányozására. Ma már számos területen és kereskedelmi tevékenységben alkalmazzák az emberek közötti kapcsolatok elemzésére. A csomópontok a hálózaton belüli egyéneket, míg a kapcsolatok az egyének közötti kapcsolatokat képviselik.
Komplex rendszerek viselkedésének modellezése, gyakran használják előrejelzésre, előrejelzésre és forgatókönyv-tervezésre. A Monte Carlo-szimulációk például az algoritmusok egy osztálya, amelyek ismételt véletlenszerű mintavételen alapulnak, azaz több ezer szimulációt futtatnak, amelyek mindegyike más-más feltevéseken alapul. Az eredmény egy hisztogram, amely az eredmények valószínűségi eloszlását adja meg. Az egyik alkalmazás a pénzügyi célok teljesítésének valószínűségét értékeli, tekintettel a különböző kezdeményezések sikerével kapcsolatos bizonytalanságokra
Az idősorelemzés az idősorok adatainak elemzésére szolgáló módszereket foglal magában annak érdekében, hogy értelmes statisztikákat és az adatok egyéb jellemzőit nyerjék ki. Az idősoros adatok gyakran az ipari folyamatok nyomon követésekor vagy a vállalati üzleti mutatók nyomon követésekor merülnek fel. Az idősor-elemzés figyelembe veszi azt a tényt, hogy az idő függvényében vett adatpontoknak belső szerkezetük lehet (például autokorreláció, trend vagy szezonális változás), amelyet figyelembe kell venni. Az idősorelemzés példái közé tartozik egy tőzsdeindex óránkénti értéke, vagy az adott állapottal diagnosztizált betegek száma naponta.
A felügyelet nélküli tanulás egy olyan gépi tanulási feladat, amelynek során a rejtett struktúrát leíró függvényre lehet következtetni a címkézetlen adatokból. Mivel a tanulónak adott példák címke nélküliek, nincs hiba- vagy jutalomjelzés a lehetséges megoldás értékeléséhez – ez megkülönbözteti a felügyelet nélküli tanulást a felügyelt tanulástól és a megerősített tanulástól.
A felügyelet nélküli tanulás azonban számos más technikát is magában foglal, amelyek az adatok főbb jellemzőit kívánják összefoglalni és elmagyarázni.
Az adatvizualizáció az adatok képi vagy grafikus formátumú előkészítése. Lehetővé teszi a döntéshozók számára, hogy vizuálisan lássák az elemzéseket, így képesek megragadni a bonyolult fogalmakat vagy új mintákat azonosítani. Az interaktív vizualizációval egy lépéssel tovább viheti a koncepciót azáltal, hogy a technológia segítségével diagramokba és grafikonokba mélyedhet részletesebben, interaktívan megváltoztatva, hogy milyen adatokat lát és hogyan dolgozza fel azokat.
Következtetés
A nagy adatelemzés az egyik legfontosabb áttörés az információs technológiai iparban. Valójában a Big Data megmutatta jelentőségét és szükségességét szinte minden szektorban, és ezen iparágak minden részlegében. Az életnek nincs egyetlen olyan területe sem, amelyet ne érintett volna a Big Data, még a személyes életünk sem. Ezért szükségünk van a Big Data Analyticsre, hogy hatékonyan kezeljük ezt a hatalmas adatmennyiséget.
Mint korábban említettük, ez a lista nem teljes. A kutatók még mindig új módszerekkel kísérleteznek e hatalmas mennyiségű adat elemzésére, amely sokféle formában van jelen, és a generálás sebessége az idő előrehaladtával növekszik, hogy értéket lehessen levonni sajátos felhasználásunkhoz.
A mesterséges intelligencia nem a jövőben, hanem itt a jelenben. Ebben a blogban Olvassa el, hogyan hatott a mesterséges intelligencia alkalmazások különböző ágazatokra.
Ön is DDOS támadások áldozata, és tanácstalan a megelőzési módszereket illetően? Olvassa el ezt a cikket a kérdések megoldásához.
Talán hallottál már arról, hogy a hackerek sok pénzt keresnek, de elgondolkodtál már azon, hogyan kereshetnek ennyi pénzt? beszéljük meg.
Szeretné látni a Google forradalmi találmányait, és azt, hogy ezek a találmányok hogyan változtatták meg minden mai ember életét? Ezután olvassa el a blogot, és nézze meg a Google találmányait.
Az önvezető autók koncepciója, hogy mesterséges intelligencia segítségével kerüljenek az utakra, már egy ideje álmunk. De számos ígéret ellenére sehol sem látszanak. Olvassa el ezt a blogot, hogy többet megtudjon…
Ahogy a tudomány gyors ütemben fejlődik, átveszi erőfeszítéseink nagy részét, megnő annak a kockázata is, hogy alávetjük magunkat egy megmagyarázhatatlan szingularitásnak. Olvassa el, mit jelenthet számunkra a szingularitás.
Az adatok tárolási módjai az Adatok születése óta alakulhatnak. Ez a blog egy infografika alapján mutatja be az adattárolás fejlődését.
Olvassa el a blogot, hogy a legegyszerűbb módon ismerje meg a Big Data Architecture különböző rétegeit és azok funkcióit.
Ebben a digitálisan vezérelt világban az intelligens otthoni eszközök az élet döntő részévé váltak. Íme az intelligens otthoni eszközök néhány elképesztő előnye, hogyan teszik életünket érdemessé és egyszerűbbé.
Az Apple a közelmúltban kiadott egy kiegészítést a macOS Catalina 10.15.4-hez a problémák megoldására, de úgy tűnik, hogy a frissítés több problémát okoz, ami a Mac gépek blokkolásához vezet. További információért olvassa el ezt a cikket
