Вникване в 26 техники за анализ на големи данни: част 1

„ Големи данни “ е прилагането на специализирани техники и технологии за обработка на много големи набори от данни. Тези набори от данни често са толкова големи и сложни, че става трудно да се обработват с помощта на инструменти за управление на база данни.

Радикалният растеж на информационните технологии доведе до няколко допълнителни условия в индустрията. Един от най-устойчивите и може би най-настоящите резултати е наличието на големи данни. Терминът Big Data е уловка фраза, която е измислена, за да опише наличието на огромни количества данни. Резултатът от наличието на такова огромно количество данни е Анализ на данни.

Анализът на данни е процесът на структуриране на големи данни. В рамките на големите данни има различни модели и корелации, които дават възможност на анализа на данни да направи по-добре изчислена характеристика на данните. Това прави анализа на данни една от най-важните части на информационните технологии.

Ето защо тук изброявам 26-те техники за анализ на големи данни. Този списък в никакъв случай не е изчерпателен.

1. A/B тестване

A/B тестването е инструмент за оценка за идентифициране коя версия на уеб страница или приложение помага на организация или физическо лице да постигне по-ефективно бизнес цел. Това решение се взема чрез сравняване коя версия на нещо работи по-добре. A/B тестването обикновено се използва в уеб разработката, за да се гарантира, че промените в уеб страница или компонент на страницата се управляват от данни, а не от лично мнение.

Нарича се още тестване на разливане или тестване на кофата.

Вижте също:  Сивата зона на големите данни – какво трябва и не

1. Изучаване на правила за асоцииране

Набор от техники за откриване на интересни връзки, т.е. „правила за асоцииране“ между променливи в големи бази данни. Тези техники се състоят от различни алгоритми за генериране и тестване на възможни правила.

Едно приложение е анализ на пазарната кошница, при който търговецът на дребно може да определи кои продукти често се купуват заедно и да използва тази информация за маркетинг. (Често цитиран пример е откритието, че много купувачи от супермаркети, които купуват начос, купуват и бира.)

1. Анализ на дървото на класификацията

Статистическата класификация е метод за идентифициране на категории, към които принадлежи ново наблюдение. Изисква се обучаващ набор от правилно идентифицирани наблюдения – с други думи исторически данни.

Статистическата класификация се използва за:

• Автоматично присвояване на документи към категории
• Категоризирайте организмите в групи
• Разработете профили на студенти, които вземат онлайн курсове

1. Клъстерен анализ

Статистически метод за класифициране на обекти, който разделя разнообразна група на по-малки групи от подобни обекти, чиито характеристики на сходство не са известни предварително. Пример за клъстерен анализ е сегментирането на потребителите в себеподобни групи за целеви маркетинг. Използва се за копаене на данни.

1. Краудсорсинг

При краудсорсинга нюансът е, че задача или работа се възлагат на външни изпълнители, но не на определен професионалист или организация, а на широката публика под формата на отворена покана. Краудсорсингът е техника, която може да се използва за събиране на данни от различни източници като текстови съобщения, актуализации в социалните медии, блогове и т.н. Това е вид масово сътрудничество и пример за използване на уеб.

1. Сливане на данни и интегриране на данни

Многостепенен процес, занимаващ се с асоциирането, корелацията, комбинацията от данни и информация от единични и множество източници за постигане на прецизирана позиция, идентифициране на оценки и пълни и навременни оценки на ситуациите, заплахите и тяхното значение.

Техниките за сливане на данни комбинират данни от множество сензори и свързана информация от свързани бази данни, за да постигнат по-добра точност и по-специфични изводи, отколкото биха могли да бъдат постигнати чрез използването само на един сензор.

Вижте също:  Ръководство за начинаещи за анализ на големи данни

1. Извличане на данни

Извличането на данни е сортиране на данни за идентифициране на модели и установяване на връзки. Извличането на данни се отнася до техниките за колективно извличане на данни, които се извършват върху голям обем данни. Параметрите за извличане на данни включват асоцииране, анализ на последователността, класификация, групиране и прогнозиране.

Приложенията включват извличане на клиентски данни за определяне на сегменти, които най-вероятно ще отговорят на оферта, извличане на данни за човешки ресурси за идентифициране на характеристиките на най-успешните служители или анализ на пазарната кошница за моделиране на поведението на клиентите при покупка.

1. Ансамбълово обучение

Това е изкуство за комбиниране на разнообразен набор от алгоритми за обучение заедно, за да се импровизира върху стабилността и предсказуемата сила на модела. Това е вид контролирано обучение.

1. Генетични алгоритми

Техники за оптимизация, които използват процеси като генетична комбинация, мутация и естествен подбор в дизайн, базиран на концепциите за естествена еволюция. Генетичните алгоритми са техники, които се използват за идентифициране на най-вероятно гледаните видеоклипове, телевизионни предавания и други форми на медия. Има еволюционен модел, който може да се направи с помощта на генетични алгоритми. Видео и медийни анализи могат да бъдат направени чрез използването на генетични алгоритми.

1. Машинно обучение

Машинното обучение е друга техника, която може да се използва за категоризиране и определяне на вероятния резултат от конкретен набор от данни. Машинното обучение дефинира софтуер, който може да определи възможните резултати от определен набор от събития. Поради това се използва в прогнозния анализ. Пример за прогнозна аналитика е вероятността за спечелване на съдебни дела или успеха на определени продукции.

1. Обработка на естествен език

Набор от техники от подспециалност компютърни науки (в рамките на област, исторически наречена „изкуствен интелект“) и лингвистика, която използва компютърни алгоритми за анализ на човешкия (естествен) език. Много НЛП техники са видове машинно обучение. Едно приложение на НЛП е използването на анализ на настроенията в социалните медии, за да се определи как бъдещите клиенти реагират на кампания за брандиране.

1. Невронни мрежи

Нелинейни предсказващи модели, които се учат чрез обучение и наподобяват биологични невронни мрежи по структура. Те могат да се използват за разпознаване на модели и оптимизиране. Някои приложения на невронни мрежи включват контролирано обучение, а други включват обучение без надзор. Примерите за приложения включват идентифициране на клиенти с висока стойност, които са изложени на риск да напуснат конкретна компания и идентифициране на измамни застрахователни искове.

Прочетете също:  40 умопомрачителни факта за големите данни

1. Оптимизация

Портфолио от числени техники, използвани за препроектиране на сложни системи и процеси за подобряване на тяхната производителност според една или повече обективни мерки (напр. цена, скорост или надеждност). Примерите за приложения включват подобряване на оперативните процеси като планиране, маршрутизиране и оформление на етажа и вземане на стратегически решения като стратегия за продуктова гама, анализ на свързани инвестиции и стратегия за портфолио за научноизследователска и развойна дейност. Генетичните алгоритми са пример за техника за оптимизация.

В следващия си блог ще опиша останалите 13 техники за анализ на големи данни.

Прочетете: Следваща част от вникване в 26 техники за анализ на големи данни