Funkcionalnosti slojeva referentne arhitekture velikih podataka

U mom posljednjem postu raspravljali smo o analizi poslovnog problema i osnovnim koracima za dizajn Big Data Architecture. Danas ću govoriti o različitim slojevima u arhitekturi velikih podataka i njihovim funkcionalnostima.

Logički slojevi referentne arhitekture velikih podataka

Iza arhitekture velikih podataka, temeljna ideja je dokumentirati prave temelje arhitekture, infrastrukture i aplikacija. Posljedično, to omogućuje tvrtkama da učinkovitije koriste velike podatke na svakodnevnoj bazi.

Izrađuju ga dizajneri/arhitekt velikih podataka prije fizičke implementacije rješenja. Stvaranje arhitekture velikih podataka općenito zahtijeva razumijevanje poslovanja/organizacije i njezinih potreba za velikim podacima. Arhitektura velikih podataka obično ocrtava hardverske i softverske komponente koje su potrebne za ispunjavanje rješenja velikih podataka. Dokumenti arhitekture velikih podataka mogu također opisati protokole za dijeljenje podataka, integracije aplikacija i informacijsku sigurnost.

Više informacija:  Vodič za početnike za analitiku velikih podataka

To također uključuje međusobno povezivanje i organiziranje postojećih resursa za potrebe velikih podataka.

Logički slojevi referentne arhitekture su sljedeći:

• Identifikacija izvora podataka: Znati odakle ti podaci potječu.

Izvorno profiliranje jedan je od najvažnijih koraka u odlučivanju o arhitekturi ili velikim podacima. To uključuje identificiranje različitih izvornih sustava i njihovo kategoriziranje na temelju njihove prirode i vrste.

Točke koje treba uzeti u obzir prilikom profiliranja izvora podataka:

1. Identificirajte unutarnje i vanjske sustave izvora.
2. Pretpostavka visoke razine za količinu podataka unesenih iz svakog izvora
3. Identificirajte mehanizam koji se koristi za dobivanje podataka – pritisnite ili povucite
4. Odredite vrstu izvora podataka – baza podataka, datoteka, web usluga, streamovi itd.
5. Odredite vrstu podataka – strukturirani, polustrukturirani ili nestrukturirani

• Strategija unosa podataka i akvizicija : Proces za unos podataka u sustav.

Gutanje podataka odnosi se na ekstrakciju podataka iz gore navedenih izvora. Ti se podaci pohranjuju u pohranu, a zatim se transformiraju za daljnju obradu na njoj.

Točke koje treba uzeti u obzir:

1. Odredite učestalost unosa podataka iz svakog izvora
2. Treba li promijeniti semantiku podataka?
3. Je li potrebna provjera valjanosti podataka ili transformacija prije unosa (prethodna obrada)?
4. Odvojite izvore podataka na temelju načina unosa - skupni ili u stvarnom vremenu

• Pohrana podataka : Objekt u kojem će se veliki podaci zapravo pohranjivati.

Trebao bi biti u mogućnosti pohraniti velike količine podataka bilo koje vrste i trebao bi biti u mogućnosti skalirati prema potrebi. Također bismo trebali uzeti u obzir broj IOPS (ulaznih izlaznih operacija u sekundi) koje može pružiti. Hadoop distribuirani datotečni sustav je najčešće korišteni okvir za pohranu podataka u svijetu velikih podataka, drugi su NoSQL spremišta podataka – MongoDB, HBase, Cassandra itd.

Stvari koje treba uzeti u obzir prilikom planiranja metodologije skladištenja:

1. Vrsta podataka (povijesni ili inkrementalni)
2. Format podataka (strukturirani, polustrukturirani i nestrukturirani)
3. Zahtjevi kompresije
4. Učestalost dolaznih podataka
5. Uzorak upita za podatke
6. Potrošači podataka

• Obrada podataka : Alati koji pružaju analizu velikih podataka.

Ne samo da se količina podataka koji se pohranjuju već i obrada višestruko povećala.

Podaci kojima se ranije često pristupalo bili su pohranjeni u dinamičkim RAM-ovima. Ali sada se pohranjuje na više diskova na brojnim strojevima povezanim putem mreže zbog velikog volumena. Stoga, umjesto prikupljanja dijelova podataka za obradu, moduli za obradu se odvode u velike podatke. Tako se značajno smanjuje mrežni I/O. Metodologija obrade vođena je poslovnim zahtjevima. Može se kategorizirati u Batch, u stvarnom vremenu ili Hibrid na temelju SLA.

1. Skupna obrada  – Skupna obrada prikuplja ulaz za određeni vremenski interval i izvodi transformacije na njemu na zakazani način. Povijesno učitavanje podataka tipična je batch operacija
2. Obrada u stvarnom vremenu – Obrada u stvarnom vremenu uključuje izvođenje transformacija kako i kada se podaci prikupljaju.
3. Hibridna obrada – kombinacija je i paketne obrade i potrebe obrade u stvarnom vremenu.

• Potrošnja/iskorištenje podataka : Korisnici/usluge koje koriste analizirane podatke.

Ovaj sloj troši izlaz koji daje sloj za obradu. Različiti korisnici poput administratora, poslovnih korisnika, dobavljača, partnera itd. mogu konzumirati podatke u različitim formatima. Izlaz analize može se potrošiti motorom preporuka ili se poslovni procesi mogu pokrenuti na temelju analize.

Različiti oblici potrošnje podataka su:

1. Izvoz skupova podataka – mogu postojati zahtjevi za generiranje skupova podataka treće strane. Skupovi podataka mogu se generirati korištenjem izvoza košnice ili izravno iz HDFS-a.
2. Izvještavanje i vizualizacija – Različiti alati za izvješćivanje i skeniranje vizualizacije povezuju se s Hadoopom pomoću JDBC/ODBC povezivanja na košnicu.
3. Istraživanje podataka – Znanstvenik podataka može graditi modele i izvoditi dubinsko istraživanje u pješčanom okruženju. Sandbox može biti zaseban klaster (preporučeni pristup) ili zasebna shema unutar istog klastera koja sadrži podskup stvarnih podataka.
4. Adhoc upiti – Adhoc ili interaktivni upiti mogu biti podržani korištenjem Hive, Impala ili spark SQL-a.

Pročitajte također:  Veliki podaci: Noćna mora budućnosti?

Funkcionalni slojevi arhitekture velikih podataka:

Može postojati još jedan način definiranja arhitekture tj. kroz podjelu funkcionalnosti. No, kategorije funkcionalnosti mogu se grupirati zajedno u logički sloj referentne arhitekture, tako da je preferirana arhitektura ona koja se izvodi pomoću logičkih slojeva.

Raslojavanje na temelju funkcionalnosti je kako slijedi:

1. Izvori podataka:

U ovu kategoriju treba navesti analizu svih izvora iz kojih organizacija prima podatke i koji bi joj mogli pomoći u donošenju budućih odluka. Ovdje navedeni izvori podataka neovisni su o tome jesu li podaci strukturirani, nestrukturirani ili polustrukturirani.

1. Ekstrakcija podataka:

Prije nego što možete pohraniti, analizirati ili vizualizirati svoje podatke, morate ih imati. Ekstrakcija podataka podrazumijeva uzimanje nečega što je nestrukturirano, kao što je web stranica, i pretvaranje u strukturiranu tablicu. Nakon što ga strukturirate, možete njime manipulirati na razne načine, koristeći dolje opisane alate, kako biste pronašli uvide.

1. Pohrana podataka:

Osnovna potreba tijekom rada s velikim podacima je razmišljanje kako te podatke pohraniti. Dio toga kako su Big Data dobili razliku kao "BIG" je to što su tradicionalni sustavi postali previše za rukovanje. Dobar pružatelj pohrane podataka trebao bi vam ponuditi infrastrukturu na kojoj možete pokrenuti sve svoje druge analitičke alate, kao i mjesto za pohranu i ispitivanje vaših podataka.

1. Čišćenje podataka:

Prethodno potreban korak prije nego što zapravo počnemo rudariti podatke za uvide. Uvijek je dobra praksa stvoriti čist, dobro strukturiran skup podataka. Skupovi podataka mogu biti svih oblika i veličina, posebno kada dolaze s weba. Odaberite alat prema vašim zahtjevima za podacima.

1. Data Mining:

Data mining je proces otkrivanja uvida unutar baze podataka. Cilj rudarenja podataka je donijeti odluke i predviđanja na temelju podataka koje imate pri ruci. Odaberite softver koji vam daje najbolja predviđanja za sve vrste podataka i omogućuje vam stvaranje vlastitih algoritama za rudarenje podataka.

1. Analiza podataka:

Dok se rudarenje podataka svodi na probiranje vaših podataka u potrazi za prethodno neprepoznatim obrascima, analiza podataka je razbijanje tih podataka i procjena učinka tih obrazaca prekovremeno. Analitika je postavljanje konkretnih pitanja i pronalaženje odgovora u podacima. Možete čak postavljati pitanja o tome što će se dogoditi u budućnosti!

1. Vizualizacija podataka:

Vizualizacije su svijetao i jednostavan način za prenošenje složenih uvida u podatke. A najbolji dio je što većina njih ne zahtijeva kodiranje. Tvrtke za vizualizaciju podataka učinit će da vaši podaci ožive. Dio izazova za bilo kojeg podatkovnog znanstvenika je prenošenje uvida iz tih podataka ostatku vaše tvrtke. Alati bi vam mogli pomoći da iz svojih uvida u podatke izradite grafikone, karte i druge slične grafike.

1. Integracija podataka:

Platforme za integraciju podataka su ljepilo između svakog programa. Oni povezuju različite zaključke alata s drugim softverima. Možete podijeliti rezultate svojih alata za vizualizaciju izravno na Facebooku putem ovih alata.

1. Jezici podataka:

Bit će trenutaka u vašoj podatkovnoj karijeri kada ga alat jednostavno neće rezati. Iako današnji alati postaju sve moćniji i lakši za korištenje, ponekad je bolje da ih sami kodirate. Postoje različiti jezici koji vam pomažu u različitim aspektima kao što su statističko računanje i grafika. Ovi jezici bi mogli raditi kao dodatak softveru za rudarenje podataka i statistički softver.

Ključne stvari koje treba zapamtiti pri dizajniranju velike podatkovne arhitekture su:

• Dinamika korištenja : Postoji niz scenarija kako je ilustrirano u članku koje je potrebno uzeti u obzir prilikom projektiranja arhitekture – oblik i učestalost podataka, vrsta podataka, vrsta obrade i potrebne analitike.
• Bezbroj tehnologija:  Proliferacija alata na tržištu dovela je do velike zabune oko toga što koristiti i kada, postoji više tehnologija koje nude slične značajke i tvrde da su bolje od ostalih.

Znam da biste razmišljali o različitim alatima koje ćete koristiti za izradu potpunog dokaza Big Data Solution. Pa, u svojim nadolazećim objavama o velikim podacima obradio bih neke najbolje alate za postizanje različitih zadataka u arhitekturi velikih podataka .