Функционалности слојева референтне архитектуре великих података

У мом последњем посту , разговарали смо о анализи пословног проблема и основним корацима за дизајнирање велике архитектуре података. Данас ћу говорити о различитим слојевима у архитектури великих података и њиховим функционалностима.

Логички слојеви референтне архитектуре великих података

Иза архитектуре великих података, основна идеја је документовање праве основе архитектуре, инфраструктуре и апликација. Сходно томе, ово омогућава предузећима да ефикасније користе велике податке свакодневно.

Креирају га дизајнери/архитеката великих података пре физичке имплементације решења. Стварање архитектуре великих података генерално захтева разумевање пословања/организације и њених потреба за великим подацима. Типично, велике архитектуре података оцртавају хардверске и софтверске компоненте које су неопходне за испуњавање решења великих података. Документи о архитектури великих података могу такође да описују протоколе за дељење података, интеграције апликација и безбедност информација.

Више информација:  Водич за почетнике за аналитику великих података

То такође подразумева међусобно повезивање и организовање постојећих ресурса како би се задовољиле потребе великих података.

Логички слојеви референтне архитектуре су следећи:

• Идентификација извора података: Знати одакле потичу ови подаци.

Изворно профилисање је један од најважнијих корака у одлучивању о архитектури или великим подацима. То укључује идентификацију различитих изворних система и њихово категорисање, на основу њихове природе и типа.

Тачке које треба узети у обзир приликом профилисања извора података:

1. Идентификујте системе унутрашњих и екстерних извора.
2. Претпоставка високог нивоа за количину података унетих из сваког извора
3. Идентификујте механизам који се користи за добијање података – притисните или повуците
4. Одредите тип извора података – база података, датотека, веб услуга, токови итд.
5. Одредите врсту података – структурирани, полуструктурирани или неструктурирани

• Стратегија уноса података и аквизиција : Процес за унос података у систем.

Уношење података се односи на екстракцију података из горе наведених извора. Ови подаци се чувају у складишту, а затим се трансформишу за даљу обраду на њему.

Тачке које треба узети у обзир:

1. Одредите учесталост уноса података из сваког извора
2. Да ли постоји потреба за променом семантике података?
3. Да ли је потребна провера или трансформација података пре уноса (претходна обрада)?
4. Одвојите изворе података на основу начина уноса – групно или у реалном времену

• Складиштење података : Објекат где ће се велики подаци заправо чувати.

Требало би да буде у стању да складишти велике количине података било ког типа и требало би да буде у стању да се скалира по потреби. Такође би требало да узмемо у обзир број ИОПС (улазних излазних операција у секунди) које може да обезбеди. Хадооп дистрибуирани систем датотека је најчешће коришћени оквир за складиштење у свету великих података, други су НоСКЛ складишта података – МонгоДБ, ХБасе, Цассандра итд.

Ствари које треба узети у обзир приликом планирања методологије складиштења:

1. Тип података (историјски или инкрементални)
2. Формат података (структурирани, полуструктурирани и неструктурирани)
3. Захтеви за компресију
4. Учесталост долазних података
5. Образац упита за податке
6. Потрошачи података

• Обрада података : Алати који пружају анализу великих података.

Не само да се количина података који се чувају већ и обрада вишеструко повећала.

Подаци којима се раније често приступало били су ускладиштени у динамичким РАМ-овима. Али сада се чува на више дискова на бројним машинама повезаним путем мреже због велике количине. Стога, уместо да прикупљају делове података за обраду, модули за обраду се одводе у велике податке. Тако се значајно смањује мрежни И/О. Методологија обраде је вођена пословним захтевима. Може се категорисати у пакет, у реалном времену или хибрид на основу СЛА.

1. Пакетна обрада  – Скупна обрада прикупља улаз за одређени временски интервал и изводи трансформације на њему на заказани начин. Учитавање историјских података је типична групна операција
2. Обрада у реалном времену – Обрада у реалном времену укључује покретање трансформација како и када се подаци прибављају.
3. Хибридна обрада – То је комбинација потреба за групном обрадом и у реалном времену.

• Потрошња/коришћење података : Корисници/услуге које користе анализиране податке.

Овај слој троши излаз који обезбеђује слој за обраду. Различити корисници попут администратора, пословних корисника, добављача, партнера итд. могу користити податке у различитим форматима. Излаз анализе може да се користи машином за препоруке или се пословни процеси могу покренути на основу анализе.

Различити облици потрошње података су:

1. Извоз скупова података – Могу постојати захтеви за генерисање скупова података треће стране. Скупови података се могу генерисати коришћењем извоза кошнице или директно из ХДФС-а.
2. Извештавање и визуелизација – Различити алати за извештавање и скенирање визуелизације повезују се са Хадооп-ом користећи ЈДБЦ/ОДБЦ повезивање са кошницом.
3. Истраживање података – Научник података може да прави моделе и да изврши дубоко истраживање у окружењу заштићеног окружења. Сандбок може бити засебан кластер (препоручени приступ) или посебна шема унутар истог кластера која садржи подскуп стварних података.
4. Адхоц упити – Адхоц или интерактивни упити могу бити подржани коришћењем Хиве, Импала или спарк СКЛ-а.

Прочитајте такође:  Велики подаци: Ноћна мора будућности?

Функционални слојеви архитектуре великих података:

Могао би постојати још један начин дефинисања архитектуре, тј. кроз подјелу функционалности. Али категорије функционалности могу се груписати заједно у логички слој референтне архитектуре, тако да је пожељна архитектура она која се ради помоћу логичких слојева.

Раслојавање на основу функционалности је као у наставку:

1. Извори података:

У овој категорији треба навести анализу свих извора из којих организација добија податке и који би јој могли помоћи у доношењу будућих одлука. Извори података који су овде наведени су без обзира на то да ли су подаци структурирани, неструктурирани или полуструктурирани.

1. Екстракција података:

Пре него што будете могли да складиштите, анализирате или визуелизујете своје податке, морате их имати. Екстракција података подразумева узимање нечега што је неструктурирано, као што је веб страница, и претварање у структурирану табелу. Када га структуирате, можете њиме манипулисати на разне начине, користећи доле описане алате, да бисте пронашли увиде.

1. Складиштење података:

Основна потреба при раду са великим подацима је размишљање о томе како те податке чувати. Део тога како су велики подаци добили дистинкцију као „БИГ“ је то што су традиционални системи постали превише за руковање. Добар провајдер складиштења података требало би да вам понуди инфраструктуру на којој можете да покренете све своје друге аналитичке алате, као и место за складиштење и испитивање ваших података.

1. Чишћење података:

Претходно неопходан корак пре него што заправо почнемо да копамо податке ради увида. Увек је добра пракса креирати чист, добро структуиран скуп података. Скупови података могу доћи у свим облицима и величинама, посебно када долазе са веба. Одаберите алат према вашим захтевима за подацима.

1. Претрага података:

Дата мининг је процес откривања увида унутар базе података. Циљ рударења података је доношење одлука и предвиђања на основу података које имате при руци. Изаберите софтвер који вам даје најбоља предвиђања за све врсте података и омогућава вам да креирате сопствене алгоритме за рударење података.

1. Аналитика података:

Док се рударење података своди на пробирање ваших података у потрази за претходно непрепознатим обрасцима, анализа података је разбијање тих података и процена утицаја тих образаца прековремено. Аналитика је постављање конкретних питања и проналажење одговора у подацима. Можете чак и постављати питања о томе шта ће се догодити у будућности!

1. Визуелизација података:

Визуелизације су светао и лак начин за преношење сложених увида у податке. А најбољи део је што већина њих не захтева кодирање. Компаније за визуелизацију података учиниће да ваши подаци оживе. Део изазова за сваког научника података је преношење увида из тих података остатку ваше компаније. Алатке би вам могле помоћи да креирате графиконе, карте и друге сличне графике на основу увида у податке.

1. Интеграција података:

Платформе за интеграцију података су лепак између сваког програма. Они повезују различите закључке алата са другим софтверима. Можете да делите резултате својих алата за визуелизацију директно на Фацебоок-у преко ових алата.

1. Језици података:

Биће тренутака у вашој каријери у вези са подацима када алат једноставно неће да га исече. Док данашњи алати постају моћнији и лакши за употребу, понекад је боље да их сами кодирате. Постоје различити језици који вам помажу у различитим аспектима као што су статистичко рачунарство и графика. Ови језици би могли да функционишу као додатак софтверу за рударење података и статистичким софтверима.

Кључне ствари које треба запамтити у дизајнирању велике архитектуре података су:

• Динамика употребе : Постоји низ сценарија као што је илустровано у чланку које треба узети у обзир приликом пројектовања архитектуре – облик и учесталост података, врста података, врста обраде и потребна аналитика.
• Безброј технологија:  Пролиферација алата на тржишту довела је до велике конфузије око тога шта и када користити, постоји више технологија које нуде сличне карактеристике и тврде да су боље од осталих.

Знам да бисте размишљали о различитим алатима које ћете користити да бисте направили потпуно доказано решење за велике податке. Па, у својим надолазећим постовима о великим подацима, покрио бих неке најбоље алате за постизање различитих задатака у архитектури великих података .