En inblick i 26 Big Data analytiska tekniker: Del 1

" Big Data " är tillämpningen av specialiserade tekniker och teknologier för att bearbeta mycket stora uppsättningar data. Dessa datamängder är ofta så stora och komplexa att det blir svårt att bearbeta med tillgängliga databashanteringsverktyg.

Den radikala tillväxten av informationsteknologi har lett till flera komplementära förhållanden i branschen. En av de mest ihållande och utan tvekan mest aktuella resultaten är förekomsten av Big Data. Termen Big Data är ett slagord som myntades för att beskriva förekomsten av enorma mängder data. Den resulterande effekten av att ha en så enorm mängd data är Data Analytics.

Dataanalys är processen för att strukturera Big Data. Inom Big Data finns det olika mönster och korrelationer som gör det möjligt för dataanalys att göra bättre kalkylerad karakterisering av datan. Detta gör dataanalys till en av de viktigaste delarna av informationsteknologi.

Därför listar jag här de 26 stora dataanalysteknikerna. Denna lista är inte på något sätt uttömmande.

1. A/B-testning

A/B-testning är ett bedömningsverktyg för att identifiera vilken version av en webbsida eller en app som hjälper en organisation eller individ att nå ett affärsmål mer effektivt. Detta beslut tas genom att jämföra vilken version av något som presterar bättre. A/B-testning används ofta i webbutveckling för att säkerställa att ändringar av en webbsida eller sidkomponent drivs av data och inte personliga åsikter.

Det kallas även spilltestning eller hinktestning.

Se även:  Big Data-gråområdet – att göra och inte göra

1. Föreningens regellärande

En uppsättning tekniker för att upptäcka intressanta samband, dvs. "associationsregler", mellan variabler i stora databaser. Dessa tekniker består av en mängd olika algoritmer för att generera och testa möjliga regler.

En applikation är marknadskorganalys, där en återförsäljare kan avgöra vilka produkter som ofta köps tillsammans och använda denna information för marknadsföring. (Ett ofta nämnt exempel är upptäckten att många stormarknadshandlare som köper nachos också köper öl.)

1. Klassificeringsträdanalys

Statistisk klassificering är en metod för att identifiera kategorier som en ny observation tillhör. Det kräver en träningsuppsättning av korrekt identifierade observationer – historiska data med andra ord.

Statistisk klassificering används för att:

• Tilldela dokument automatiskt till kategorier
• Kategorisera organismer i grupper
• Utveckla profiler för studenter som tar onlinekurser

1. Klusteranalys

En statistisk metod för att klassificera objekt som delar upp en mångfaldig grupp i mindre grupper av liknande objekt, vars likhetsegenskaper inte är kända i förväg. Ett exempel på klusteranalys är att segmentera konsumenter i självliknande grupper för riktad marknadsföring. Används för Data Mining.

1. Crowdsourcing

Inom crowdsourcing är nyansen att en uppgift eller ett jobb läggs ut på entreprenad men inte till en utsedd professionell eller organisation utan till allmänheten i form av en öppen utlysning. Crowdsourcing är en teknik som kan användas för att samla in data från olika källor såsom textmeddelanden, uppdateringar av sociala medier, bloggar etc. Detta är en typ av masssamarbete och en instans av webbanvändning.

1. Datafusion och dataintegration

En process på flera nivåer som handlar om association, korrelation, kombination av data och information från enstaka och flera källor för att uppnå en förfinad position, identifiera uppskattningar och fullständiga och aktuella bedömningar av situationer, hot och deras betydelse.

Datafusionstekniker kombinerar data från flera sensorer och relaterad information från tillhörande databaser för att uppnå förbättrad noggrannhet och mer specifika slutsatser än vad som skulle kunna uppnås med enbart en enda sensor.

Se även:  En nybörjarguide till Big Data Analytics

1. Data Mining

Data mining är att sortera igenom data för att identifiera mönster och etablera relationer. Data mining hänvisar till de kollektiva dataextraktionstekniker som utförs på stora mängder data. Datautvinningsparametrar inkluderar association, sekvensanalys, klassificering, klustring och prognoser.

Tillämpningar inkluderar utvinning av kunddata för att bestämma segment som mest sannolikt kommer att svara på ett erbjudande, utvinning av personaldata för att identifiera egenskaper hos de mest framgångsrika anställda, eller marknadskorganalys för att modellera kunders köpbeteende.

1. Ensemble lärande

Det är en konst att kombinera olika inlärningsalgoritmer för att improvisera om modellens stabilitet och prediktiva kraft. Detta är en typ av övervakat lärande.

1. Genetiska algoritmer

Optimeringstekniker som använder processer som genetisk kombination, mutation och naturligt urval i en design baserad på begreppen naturlig evolution. Genetiska algoritmer är tekniker som används för att identifiera de mest sedda videor, TV-program och andra former av media. Det finns ett evolutionärt mönster som kan göras med hjälp av genetiska algoritmer. Video- och mediaanalys kan göras med hjälp av genetiska algoritmer.

1. Maskininlärning

Machine Learning är en annan teknik som kan användas för att kategorisera och bestämma det troliga resultatet av en specifik uppsättning data. Machine Learning definierar en programvara som kan bestämma möjliga utfall av en viss uppsättning händelser. Det används därför i prediktiv analys. Ett exempel på prediktiv analys är sannolikheten att vinna rättsfall eller framgången för vissa produktioner.

1. Naturlig språkbehandling

En uppsättning tekniker från en subspecialitet av datavetenskap (inom ett område som historiskt kallas "artificiell intelligens") och lingvistik som använder datoralgoritmer för att analysera mänskligt (naturligt) språk. Många NLP-tekniker är typer av maskininlärning. En tillämpning av NLP är att använda sentimentanalys på sociala medier för att avgöra hur potentiella kunder reagerar på en varumärkeskampanj.

1. Neurala nätverk

Icke-linjära prediktiva modeller som lär sig genom träning och liknar biologiska neurala nätverk i struktur. De kan användas för mönsterigenkänning och optimering. Vissa neurala nätverkstillämpningar involverar övervakat lärande och andra involverar oövervakat lärande. Exempel på applikationer är att identifiera värdefulla kunder som riskerar att lämna ett visst företag och att identifiera bedrägliga försäkringskrav.

Läs också:  40 otroliga fakta om Big Data

1. Optimering

En portfölj av numeriska tekniker som används för att omdesigna komplexa system och processer för att förbättra deras prestanda enligt en eller flera objektiva mått (t.ex. kostnad, hastighet eller tillförlitlighet). Exempel på applikationer inkluderar förbättring av operativa processer såsom schemaläggning, routing och golvlayout, och att fatta strategiska beslut såsom produktsortimentsstrategi, länkad investeringsanalys och FoU-portföljstrategi. Genetiska algoritmer är ett exempel på en optimeringsteknik.

I min nästa blogg skulle jag beskriva de återstående 13 Big Data Analytics-teknikerna.

Läs: Nästa del av An Insight into 26 Big Data Analytic Techniques