A gépek felemelkedése: Az AI valós világbeli alkalmazásai
A mesterséges intelligencia nem a jövőben, hanem itt a jelenben. Ebben a blogban Olvassa el, hogyan hatott a mesterséges intelligencia alkalmazások különböző ágazatokra.
Legutóbbi bejegyzésemben az üzleti probléma elemzéséről és a Big Data Architecture tervezésének alapvető lépéseiről beszélgettünk. Ma a Big Data Architecture különböző rétegeiről és azok funkcióiról fogok beszélni.
A Big Data referenciaarchitektúra logikai rétegei
A big data architektúra mögött az alapötlet az architektúra, az infrastruktúra és az alkalmazások megfelelő alapjainak dokumentálása. Következésképpen ez lehetővé teszi a vállalkozások számára, hogy a mindennapi életben hatékonyabban használják fel a big data-okat.
Big data tervezők/építészek hozzák létre a megoldás fizikai megvalósítása előtt. A big data architektúra létrehozásához általában meg kell érteni az üzletet/szervezetet és a big data igényeit. A big data architektúrák jellemzően felvázolják azokat a hardver- és szoftverkomponenseket, amelyek szükségesek a big data megoldás teljesítéséhez. A Big Data architektúra dokumentumok leírhatják az adatmegosztási, alkalmazásintegrációs és információbiztonsági protokollokat is.
További információ: Útmutató kezdőknek a Big Data Analyticshez
Ez magában foglalja a meglévő erőforrások összekapcsolását és rendszerezését is a nagy adatszükségletek kiszolgálása érdekében.
A referencia architektúra logikai rétegei a következők:
A forrásprofilozás az egyik legfontosabb lépés az architektúra vagy a big data eldöntésében. Ez magában foglalja a különböző forrásrendszerek azonosítását és kategorizálását természetük és típusuk alapján.
Az adatforrások profilalkotása során figyelembe veendő szempontok:
Az adatfelvétel az adatok fent említett forrásokból való kinyerését jelenti. Ezeket az adatokat a tárolóban tároljuk, majd ezután transzformáljuk további feldolgozás céljából.
Figyelembe veendő pontok:
Bármilyen típusú nagy mennyiségű adat tárolására képesnek kell lennie, és szükség szerint méretezhetőnek kell lennie. Azt is figyelembe kell vennünk, hogy hány IOPS-t (Input output operations per second) tud biztosítani. A Hadoop elosztott fájlrendszer a leggyakrabban használt tárolási keretrendszer a Big Data világában, mások a NoSQL adattárak – MongoDB, HBase, Cassandra stb.
A tárolási módszer tervezésénél figyelembe kell venni:
Nemcsak a tárolt adatok mennyisége, hanem a feldolgozás is többszörösére nőtt.
A korábban gyakran használt adatokat dinamikus RAM-okban tárolták. Most azonban több lemezen tárolják számos, hálózaton keresztül csatlakoztatott gépen a puszta mennyiség miatt. Ezért ahelyett, hogy adatdarabokat gyűjtenek össze a feldolgozáshoz, a feldolgozási modulokat a nagy adatokhoz veszik át. Így jelentősen csökken a hálózati I/O. A feldolgozási módszert az üzleti követelmények vezérlik. Az SLA alapján kötegelt, valós idejű vagy hibrid kategóriába sorolható.
Ez a réteg a feldolgozó réteg által biztosított kimenetet fogyasztja. Különböző felhasználók, például rendszergazda, üzleti felhasználók, szállító, partnerek stb., különböző formátumban fogyaszthatnak adatokat. Az elemzés kimenetét az ajánlómotor felhasználhatja, vagy az elemzés alapján üzleti folyamatokat indíthat el.
Az adatfelhasználás különböző formái:
Olvassa el még: Big Data: A jövő rémálma?
A Big Data architektúra funkcionális rétegei:
Lehetne még egy módja az architektúra meghatározásának, például a funkcionalitás felosztáson keresztül. De a funkcionalitási kategóriák csoportosíthatók a referenciaarchitektúra logikai rétegébe, így az előnyben részesített architektúra logikai rétegekkel történik.
A funkciókon alapuló rétegezés a következő:
Ebbe a kategóriába kell sorolni mindazon források elemzését, ahonnan egy szervezet adatokat kap, és amelyek segíthetik a szervezetet a jövőbeni döntések meghozatalában. Az itt felsorolt adatforrások függetlenek attól, hogy az adatok strukturáltak, strukturálatlanok vagy félig strukturáltak.
Mielőtt tárolná, elemezhetné vagy vizualizálná adatait, rendelkeznie kell valamennyivel. Az adatkinyerés arról szól, hogy veszünk valami strukturálatlant, például egy weboldalt, és strukturált táblázattá alakítjuk. Miután felépítette, az alábbiakban ismertetett eszközök segítségével sokféle módon manipulálhatja, hogy betekintést nyerjen.
A nagy adatokkal való munka során alapvető szükséglet, hogy gondolkodjunk, hogyan tároljuk ezeket az adatokat. A Big Data „NAGY” megkülönböztetésének része az, hogy túl sok lett ahhoz, hogy a hagyományos rendszerek kezelni tudják. Egy jó adattárolási szolgáltatónak olyan infrastruktúrát kell kínálnia, amelyen az összes többi elemzőeszközt futtathatja, valamint helyet kell biztosítania az adatok tárolására és lekérdezésére.
Előzetesen szükséges lépés, mielőtt ténylegesen elkezdjük az adatok bányászatát a betekintéshez. Mindig célszerű tiszta, jól strukturált adatkészletet létrehozni. Az adatkészletek bármilyen formában és méretben létezhetnek, különösen, ha a webről származnak. Válasszon eszközt adatigényének megfelelően.
Az adatbányászat az adatbázison belüli betekintések felfedezésének folyamata. Az adatbányászat célja döntések meghozatala és előrejelzések meghozatala a rendelkezésére álló adatok alapján. Válasszon olyan szoftvert, amely a legjobb előrejelzéseket adja minden adattípushoz, és lehetővé teszi saját algoritmusok létrehozását az adatok bányászatához.
Míg az adatbányászat az adatok átszűréséről szól a korábban fel nem ismert minták keresése érdekében, az adatelemzés az adatok lebontásáról és a minták hatásának időnkénti felméréséről szól. Az Analytics konkrét kérdéseket tesz fel, és az adatokban keresi a válaszokat. Akár kérdéseket is feltehetsz, hogy mi lesz a jövőben!
A vizualizációk világos és egyszerű módot jelentenek az összetett adatok közvetítésére. És a legjobb az egészben az, hogy legtöbbjük nem igényel kódolást. Az adatvizualizációs cégek életre keltik az Ön adatait. Bármely adattudós számára a kihívás része, hogy az adatokból származó betekintést átadja a vállalat többi tagjának. Az eszközök segíthetnek diagramok, térképek és más hasonló grafikák létrehozásában az adatok betekintéséből.
Az adatintegrációs platformok jelentik a ragasztót az egyes programok között. Összekötik az eszközök különböző következtetéseit más szoftverekkel. Ezeken az eszközökön keresztül megoszthatja vizualizációs eszközeinek eredményeit közvetlenül a Facebookon.
Az adatkarrierje során előfordulhatnak olyan időszakok, amikor egy eszköz egyszerűen nem vágja le. Míg a mai eszközök egyre erősebbek és könnyebben használhatók, néha jobb, ha saját kezűleg kódoljuk. Különböző nyelvek segítenek különböző területeken, például a statisztikai számítástechnikában és a grafikában. Ezek a nyelvek kiegészíthetik az adatbányászati és statisztikai szoftvereket.
A Big Data Architecture tervezésénél a következőkre kell emlékezni:
Tudom, hogy különféle eszközökre gondolna, amelyek segítségével teljes körűen bizonyíthat Big Data megoldást. Nos, a Big Data-ról szóló közelgő bejegyzéseimben néhány legjobb eszközt ismertetek a big data architektúra különböző feladatainak megvalósítására .
A mesterséges intelligencia nem a jövőben, hanem itt a jelenben. Ebben a blogban Olvassa el, hogyan hatott a mesterséges intelligencia alkalmazások különböző ágazatokra.
Ön is DDOS támadások áldozata, és tanácstalan a megelőzési módszereket illetően? Olvassa el ezt a cikket a kérdések megoldásához.
Talán hallottál már arról, hogy a hackerek sok pénzt keresnek, de elgondolkodtál már azon, hogyan kereshetnek ennyi pénzt? beszéljük meg.
Szeretné látni a Google forradalmi találmányait, és azt, hogy ezek a találmányok hogyan változtatták meg minden mai ember életét? Ezután olvassa el a blogot, és nézze meg a Google találmányait.
Az önvezető autók koncepciója, hogy mesterséges intelligencia segítségével kerüljenek az utakra, már egy ideje álmunk. De számos ígéret ellenére sehol sem látszanak. Olvassa el ezt a blogot, hogy többet megtudjon…
Ahogy a tudomány gyors ütemben fejlődik, átveszi erőfeszítéseink nagy részét, megnő annak a kockázata is, hogy alávetjük magunkat egy megmagyarázhatatlan szingularitásnak. Olvassa el, mit jelenthet számunkra a szingularitás.
Az adatok tárolási módjai az Adatok születése óta alakulhatnak. Ez a blog egy infografika alapján mutatja be az adattárolás fejlődését.
Olvassa el a blogot, hogy a legegyszerűbb módon ismerje meg a Big Data Architecture különböző rétegeit és azok funkcióit.
Ebben a digitálisan vezérelt világban az intelligens otthoni eszközök az élet döntő részévé váltak. Íme az intelligens otthoni eszközök néhány elképesztő előnye, hogyan teszik életünket érdemessé és egyszerűbbé.
Az Apple a közelmúltban kiadott egy kiegészítést a macOS Catalina 10.15.4-hez a problémák megoldására, de úgy tűnik, hogy a frissítés több problémát okoz, ami a Mac gépek blokkolásához vezet. További információért olvassa el ezt a cikket