Вникване в 26 техники за анализ на големи данни: част 2

Досега в моите блогове за големите данни ви запознах с различни аспекти на големите данни, от това какво всъщност означават до факти и какво правите и какво не трябва да правите. В предишния блог видяхме някои техники за анализ на големи данни. Разглеждане на списъка по-нататък в този блог.

1. Разпознаване на шаблон

Разпознаването на модели е клон на машинното обучение, който се фокусира върху разпознаването на модели и закономерности в данните, въпреки че в някои случаи се счита за почти синоним на машинното обучение. Системите за разпознаване на модели в много случаи се обучават от етикетирани данни за „обучение“ (контролирано учене), но когато няма налични етикетирани данни, могат да се използват други алгоритми за откриване на по-рано неизвестни модели (неконтролирано обучение).

1. Прогнозно моделиране

Прогнозните анализи включват различни техники, които предвиждат бъдещи резултати въз основа на исторически и текущи данни. На практика прогнозните анализи могат да бъдат приложени към почти всички дисциплини – от прогнозиране на повреда на реактивните двигатели въз основа на потока от данни от няколко хиляди сензора, до прогнозиране на следващите стъпки на клиентите въз основа на това, което купуват, кога купуват и дори какво казват те в социалните мрежи. Техниките за прогнозен анализ се основават предимно на статистически методи.

Вижте също:  Ръководство за начинаещи за анализ на големи данни

1. Регресионен анализ

Това е техника, която използва използването на независими променливи и как те влияят на зависими променливи. Това може да бъде много полезна техника при определяне на анализ на социалните медии, като вероятността да намерите любов през интернет платформа.

1. Анализ на настроенията

Анализът на настроенията помага на изследователите да определят настроенията на говорещите или писателите по отношение на дадена тема. Анализът на настроенията се използва, за да помогне:

• Подобрете обслужването в хотелска верига, като анализирате коментарите на гостите.
• Персонализирайте стимулите и услугите, за да отговорите на това, което клиентите наистина искат.
• Определете какво наистина мислят потребителите въз основа на мнения от социалните медии.

1. Обработка на сигнала

Обработката на сигнали е позволяваща технология, която обхваща фундаменталната теория, приложения, алгоритми и реализации на обработка или прехвърляне на информация, съдържаща се в много различни физически, символни или абстрактни формати, широко обозначени като сигнали . Той използва математически, статистически, изчислителни, евристични и лингвистични представяния, формализми и техники за представяне, моделиране, анализ, синтез, откриване, възстановяване, отчитане, придобиване, извличане, учене, сигурност или криминалистика. Примерните приложения включват моделиране за анализ на времеви серии или прилагане на сливане на данни за определяне на по-прецизно отчитане чрез комбиниране на данни от набор от по-малко точни източници на данни (т.е. извличане на сигнала от шума).

1. Пространствен анализ

Пространственият анализ е процесът, чрез който превръщаме необработените данни в полезна информация. Това е процес на изследване на местоположенията, атрибутите и връзките на характеристиките в пространствените данни чрез наслагване и други аналитични техники, за да се отговори на въпрос или да се получат полезни знания. Пространственият анализ извлича или създава нова информация от пространствени данни.

1. Статистика

В статистиката проучвателният анализ на данни е подход за анализиране на набори от данни за обобщаване на техните основни характеристики, често с визуални методи. Статистически модел може да се използва или не, но преди всичко EDA е за да видим какво могат да ни кажат данните извън задачата за формално моделиране или тестване на хипотези. Използват се и статистически техники за намаляване на вероятността от грешки от тип I („фалшиви положителни резултати“) и грешки от тип II („фалшиви отрицателни“). Пример за приложение е A/B тестване, за да се определи кои видове маркетингови материали ще увеличат най-много приходите.

Вижте също:  40 умопомрачителни факта за големите данни

1. Учене под надзор

Контролираното обучение е задачата за машинно обучение за извеждане на функция от етикетирани данни за обучение. Данните за обучение се състоят от набор от примери за обучение . При контролирано обучение всеки пример е двойка, състояща се от входен обект (обикновено вектор) и желана изходна стойност (наричана още контролен сигнал ). Алгоритъм за контролирано обучение анализира данните от обучението и произвежда изведена функция, която може да се използва за картографиране на нови примери.

1. Анализ на социалните мрежи

Анализът на социалните мрежи е техника, която за първи път е била използвана в телекомуникационната индустрия, а след това бързо приета от социолозите за изследване на междуличностните отношения. Сега се прилага за анализиране на взаимоотношенията между хората в много области и търговски дейности. Възлите представляват индивиди в рамките на мрежа, докато връзките представляват взаимоотношенията между индивидите.

1. Симулация

Моделиране на поведението на сложни системи, често използвани за прогнозиране, прогнозиране и планиране на сценарии. Симулациите в Монте Карло, например, са клас алгоритми, които разчитат на многократно произволно вземане на проби, т.е. провеждане на хиляди симулации, всяка от които се основава на различни предположения. Резултатът е хистограма, която дава разпределение на вероятностите на резултатите. Едно приложение оценява вероятността за постигане на финансовите цели, като се има предвид несигурността относно успеха на различни инициативи

1. Анализ на времевите серии

Анализът на времевите редове включва методи за анализ на данни от времеви редове с цел извличане на значими статистически данни и други характеристики на данните. Данните от времевите серии често възникват при наблюдение на промишлени процеси или проследяване на корпоративни бизнес показатели. Анализът на времевите редове отчита факта, че точките от данни, взети с течение на времето, могат да имат вътрешна структура (като автокорелация, тенденция или сезонна вариация), която трябва да бъде отчетена. Примерите за анализ на времевите серии включват почасовата стойност на индекса на фондовия пазар или броя на пациентите, диагностицирани с дадено състояние всеки ден.

1. Учене без надзор

Ученето без надзор е задачата за машинно обучение за извеждане на функция за описване на скрита структура от немаркирани данни. Тъй като примерите, дадени на обучаемия, са немаркирани, няма сигнал за грешка или награда за оценка на потенциално решение – това отличава ученето без надзор от контролираното учене и ученето с подсилване.

Въпреки това, ученето без надзор включва и много други техники, които се стремят да обобщят и обяснят ключови характеристики на данните.

1. Визуализация

Визуализацията на данни е подготовката на данни в графичен или графичен формат. Той позволява на лицата, вземащи решения, да виждат анализите, представени визуално, така че да могат да схващат трудни концепции или да идентифицират нови модели. С интерактивната визуализация можете да направите концепцията крачка напред, като използвате технология за разбивка на диаграми и графики за повече подробности, като интерактивно променяте какви данни виждате и как се обработват.

Заключение

Анализът на големи данни е един от най-важните пробиви в индустрията на информационните технологии. Всъщност Big Data показа своята важност и нужда в почти всички сектори и във всички отдели на тези индустрии. Няма нито един аспект от живота, който да не е бил засегнат от Big Data, дори личният ни живот. Следователно имаме нужда от анализ на големи данни, за да управляваме ефективно тези огромни количества данни.

Както беше казано по-горе, този списък не е изчерпателен. Изследователите все още експериментират върху нови начини за анализиране на това огромно количество данни, което присъства в различни форми, чиято скорост на генериране се увеличава с времето, за да се получат стойности за нашите специфични приложения.