Suurandmete viitearhitektuuri kihtide funktsioonid

Minu viimases postituses arutasime äriprobleemi analüüsimist ja põhilisi samme suurandmete arhitektuuri kujundamiseks. Täna räägin Big Data Arhitektuuri erinevatest kihtidest ja nende funktsioonidest.

Suurandmete võrdlusarhitektuuri loogilised kihid

Suurandmete arhitektuuri taga on põhiidee dokumenteerida arhitektuuri, infrastruktuuri ja rakenduste õige alus. Järelikult võimaldab see ettevõtetel suurandmeid igapäevaselt tõhusamalt kasutada.

Selle loovad suurandmete disainerid/arhitektid enne lahenduse füüsilist juurutamist. Suurandmete arhitektuuri loomine eeldab üldiselt ettevõtte/organisatsiooni ja selle suurandmete vajaduste mõistmist. Tavaliselt kirjeldavad suurandmete arhitektuurid riist- ja tarkvarakomponente, mis on vajalikud suurandmete lahenduse täitmiseks. Suurandmete arhitektuuri dokumendid võivad kirjeldada ka andmete jagamise, rakenduste integreerimise ja teabeturbe protokolle.

Lisateave:  Big Data Analyticsi juhend algajatele

See hõlmab ka olemasolevate ressursside ühendamist ja korraldamist suurandmete vajaduste rahuldamiseks.

Võrdlusarhitektuuri loogilised kihid on järgmised:

• Andmeallika identifitseerimine: teadmine, kust need andmed pärinevad.

Allika profileerimine on arhitektuuri või suurandmete üle otsustamisel üks olulisemaid samme. See hõlmab erinevate allikasüsteemide tuvastamist ja nende liigitamist nende olemuse ja tüübi alusel.

Andmeallikate profileerimisel tuleb arvestada järgmiste punktidega:

1. Tehke kindlaks sise- ja välisallikate süsteemid.
2. Kõrgetasemeline eeldus igast allikast sissevõetud andmete hulga kohta
3. Tuvastage andmete hankimiseks kasutatav mehhanism – lükake või tõmba
4. Määrake andmeallika tüüp – andmebaas, fail, veebiteenus, vood jne.
5. Määrake andmete tüüp – struktureeritud, poolstruktureeritud või struktureerimata

• Andmete sissevõtmise strateegia ja hankimine : protsess andmete sisestamiseks süsteemi.

Andmete sissevõtmine seisneb andmete hankimises ülalmainitud allikatest. Need andmed salvestatakse salvestusruumi ja seejärel muudetakse need edasiseks töötlemiseks.

Punktid, mida tuleb arvesse võtta:

1. Määrake igast allikast pärit andmete sissevõtmise sagedus
2. Kas andmete semantikat on vaja muuta?
3. Kas enne allaneelamist on vaja andmete valideerimist või teisendamist (eeltöötlus)?
4. Eraldage andmeallikad sisestusviisi alusel – pakett- või reaalajas

• Andmete salvestusruum : rajatis, kus tegelikult salvestatakse suuri andmeid.

Peaksite suutma salvestada suurel hulgal mis tahes tüüpi andmeid ja neid peaks olema võimalik vajaduse alusel skaleerida. Samuti peaksime arvestama IOPS-i (sisendväljundtoimingute arvuga sekundis), mida see suudab pakkuda. Hadoopi hajutatud failisüsteem on Big Data maailmas kõige sagedamini kasutatav salvestusraamistik, teised on NoSQL-i andmesalved – MongoDB, HBase, Cassandra jne.

Asjad, mida tuleks salvestusmetoodika kavandamisel arvestada:

1. Andmete tüüp (ajalooline või inkrementaalne)
2. Andmete vorming (struktureeritud, poolstruktureeritud ja struktureerimata)
3. Kokkusurumisnõuded
4. Sissetulevate andmete sagedus
5. Päringu muster andmete kohta
6. Andmete tarbijad

• Andmetöötlus : tööriistad, mis pakuvad suurandmete analüüsi.

Mitte ainult salvestatavate andmete hulk, vaid ka töötlemine on mitmekordistunud.

Varem sageli kasutatud andmed salvestati dünaamilistesse RAM-idesse. Kuid nüüd salvestatakse seda tohutu mahu tõttu mitmel kettal paljudes masinates, mis on võrgu kaudu ühendatud. Seetõttu võetakse töötlemiseks andmetükkide kogumise asemel töötlemismoodulid suurandmetesse. Seega vähendades oluliselt võrgu I/O. Töötlemise metoodika on ajendatud ärinõuetest. SLA alusel saab selle liigitada partiideks, reaalajas või hübriidseks.

1. Partii töötlemise  - Partii on koguda sisendit kindlaksmääratud ajavahemik ja töötab teisenduse seda kavandatud viisil. Ajalooliste andmete laadimine on tüüpiline pakkoperatsioon
2. Reaalajas töötlemine – reaalajas töötlemine hõlmab teisenduste käivitamist andmete hankimisel.
3. Hübriidtöötlus – see on kombinatsioon nii partii- kui ka reaalajas töötlemise vajadustest.

• Andmete tarbimine/kasutus : analüüsitud andmeid kasutavad kasutajad/teenused.

See kiht tarbib töötlemiskihi väljundit. Erinevad kasutajad, nagu administraator, ärikasutajad, hankija, partnerid jne, saavad andmeid erinevas vormingus tarbida. Analüüsi väljundit võib tarbida soovitusmootor või käivitada äriprotsesse analüüsi põhjal.

Erinevad andmetarbimise vormid on:

1. Ekspordi andmekogumid – kolmanda osapoole andmekogumite genereerimiseks võivad olla nõuded. Andmekogumeid saab luua taru ekspordi abil või otse HDFS-ist.
2. Aruandlus ja visualiseerimine – erinevate aruandlus- ja visualiseerimistööriistade skannimine ühendatakse Hadoopiga, kasutades JDBC/ODBC-ühendust taruga.
3. Andmete uurimine – andmeteadlane saab luua mudeleid ja teha põhjalikku uurimistööd liivakastikeskkonnas. Liivakast võib olla eraldi klaster (soovitatud lähenemisviis) või eraldi skeem samas klastris, mis sisaldab tegelike andmete alamhulka.
4. Adhoc päring – Adhoc või interaktiivset päringut saab toetada Hive, Impala või Spark SQL abil.

Loe ka:  Suured andmed: tuleviku õudusunenägu?

Suurandmete arhitektuuri funktsionaalsed kihid:

Arhitektuuri määratlemiseks võiks olla veel üks viis, st funktsionaalsuse jaotuse kaudu. Kuid funktsionaalsuse kategooriad saab rühmitada võrdlusarhitektuuri loogilisse kihti, nii et eelistatud arhitektuur tehakse loogiliste kihtide abil.

Funktsionaalsustel põhinev kihistamine on järgmine:

1. Andmeallikad:

Sellesse kategooriasse tuleks loetleda kõigi allikate analüüsimine, kust organisatsioon andmeid saab ja mis võiksid aidata organisatsioonil tulevasi otsuseid langetada. Siin loetletud andmeallikad on sõltumata sellest, kas andmed on struktureeritud, struktureerimata või poolstruktureeritud.

1. Andmete ekstraheerimine:

Enne kui saate oma andmeid salvestada, analüüsida või visualiseerida, peavad teil need olema. Andmete ekstraheerimine seisneb struktureerimata asjade (nt veebilehe) võtmises ja selle muutmises struktureeritud tabeliks. Kui olete selle üles ehitanud, saate seda mitmel erineval viisil manipuleerida, kasutades ülevaate saamiseks allpool kirjeldatud tööriistu.

1. Andmekogu:

Suurandmetega töötamise põhivajadus on mõelda, kuidas neid andmeid salvestada. Üks osa sellest, kuidas Big Data sai "SUUREKS" eristuse, seisneb selles, et traditsiooniliste süsteemide jaoks muutus sellega liiga palju hakkama. Hea andmesalvestuse pakkuja peaks pakkuma teile infrastruktuuri, kus saate käitada kõiki teisi analüüsitööriistu, ning kohta, kus andmeid salvestada ja päringuid teha.

1. Andmete puhastamine:

Vajalik samm enne, kui hakkame andmeid statistika saamiseks tegelikult kaevandama. Alati on hea tava luua puhas, hästi struktureeritud andmekogum. Andmekogumeid võib olla igasuguse kuju ja suurusega, eriti kui need pärinevad veebist. Valige tööriist vastavalt oma andmenõuetele.

1. Andmete kaevandamine:

Andmekaeve on protsess, mille käigus leitakse andmebaasist teadmisi. Andmekaeve eesmärk on teha otsuseid ja teha ennustusi teie käsutuses olevate andmete põhjal. Valige tarkvara, mis annab teile parimad prognoosid igat tüüpi andmete jaoks ja võimaldab teil luua oma algoritme andmete kaevandamiseks.

1. Andmeanalüüs:

Kui andmekaeve eesmärk on varem tundmatute mustrite otsimiseks andmete sõelumine, siis andmeanalüüsi eesmärk on nende andmete tükeldamine ja nende mustrite mõju hindamine aja jooksul. Analytics seisneb konkreetsete küsimuste esitamises ja andmetes vastuste leidmises. Võite isegi esitada küsimusi selle kohta, mis tulevikus juhtub!

1. Andmete visualiseerimine:

Visualisatsioonid on särav ja lihtne viis keerukate andmete edastamiseks. Ja parim osa on see, et enamik neist ei vaja kodeerimist. Andmete visualiseerimise ettevõtted panevad teie andmed ellu. Üks osa iga andmeteadlase väljakutsest on nende andmete põhjal saadud arusaamade edastamine ülejäänud ettevõttele. Tööriistad võivad aidata teil andmete põhjal luua diagramme, kaarte ja muud sarnast graafikat.

1. Andmete integreerimine:

Andmete integreerimise platvormid on liim iga programmi vahel. Need ühendavad tööriistade erinevad järeldused teiste tarkvaradega. Nende tööriistade kaudu saate oma visualiseerimistööriistade tulemusi otse Facebookis jagada.

1. Andmekeeled:

Teie andmekarjääris tuleb ette hetki, mil tööriist lihtsalt ei lõika seda. Kuigi tänapäevased tööriistad muutuvad üha võimsamaks ja hõlpsamini kasutatavaks, on mõnikord parem see ise kodeerida. Erinevad keeled aitavad teid erinevates aspektides, nagu statistiline andmetöötlus ja graafika. Need keeled võiksid töötada andmekaeve- ja statistikatarkvara täiendusena.

Peamised asjad, mida Big Data Arhitektuuri kujundamisel meeles pidada, on järgmised:

• Kasutusdünaamika : artiklis kirjeldatud stsenaariume on mitmeid, mida tuleb arhitektuuri kavandamisel arvesse võtta – andmete vorm ja sagedus, andmete tüüp, töötlemise tüüp ja nõutav analüüs.
• Tehnoloogiate hulk:  tööriistade levik turul on tekitanud palju segadust selle üle, mida ja millal kasutada. On mitmeid tehnoloogiaid, mis pakuvad sarnaseid funktsioone ja väidavad, et nad on teistest paremad.

Ma tean, et mõtleksite erinevatele tööriistadele, mida kasutada täieliku tõendiga suurandmete lahenduse loomiseks. Noh, oma tulevastes suurandmete teemalistes postitustes käsitleksin mõningaid parimaid tööriistu suurandmete arhitektuuri erinevate ülesannete täitmiseks .