Et innblikk i 26 analyseteknikker for store data: Del 1

" Big data " er bruken av spesialiserte teknikker og teknologier for å behandle svært store sett med data. Disse datasettene er ofte så store og komplekse at det blir vanskelig å behandle ved hjelp av tilgjengelige databasebehandlingsverktøy.

Den radikale veksten av informasjonsteknologi har ført til flere komplementære forhold i bransjen. Et av de mest vedvarende og uten tvil mest tilstedeværende resultatene er tilstedeværelsen av Big Data. Begrepet Big Data er et slagord som ble laget for å beskrive tilstedeværelsen av enorme mengder data. Den resulterende effekten av å ha en så enorm mengde data er Data Analytics.

Dataanalyse er prosessen med å strukturere Big Data. Innenfor Big Data er det ulike mønstre og korrelasjoner som gjør det mulig for dataanalyse å gjøre bedre kalkulert karakterisering av dataene. Dette gjør dataanalyse til en av de viktigste delene av informasjonsteknologi.

Derfor viser jeg her de 26 teknikkene for big data-analyse. Denne listen er på ingen måte uttømmende.

1. A/B-testing

A/B-testing er et vurderingsverktøy for å identifisere hvilken versjon av en nettside eller en app som hjelper en organisasjon eller enkeltperson å nå et forretningsmål mer effektivt. Denne beslutningen tas ved å sammenligne hvilken versjon av noe som fungerer best. A/B-testing brukes ofte i nettutvikling for å sikre at endringer på en nettside eller sidekomponent er drevet av data og ikke personlig mening.

Det kalles også sølttesting eller bøttetesting.

Se også:  Big Data-gråområdet – hva som bør gjøres og ikke gjøres

1. Forening Regellæring

Et sett med teknikker for å oppdage interessante sammenhenger, dvs. "assosiasjonsregler", blant variabler i store databaser. Disse teknikkene består av en rekke algoritmer for å generere og teste mulige regler.

En applikasjon er markedskurvanalyse, der en forhandler kan finne ut hvilke produkter som ofte kjøpes sammen og bruke denne informasjonen til markedsføring. (Et ofte sitert eksempel er oppdagelsen av at mange supermarkedskjøpere som kjøper nachos også kjøper øl.)

1. Klassifiseringstreanalyse

Statistisk klassifisering er en metode for å identifisere kategorier som en ny observasjon tilhører. Det krever et treningssett med korrekt identifiserte observasjoner – historiske data med andre ord.

Statistisk klassifisering brukes til å:

• Tilordne dokumenter automatisk til kategorier
• Kategoriser organismer i grupperinger
• Utvikle profiler av studenter som tar nettkurs

1. Klyngeanalyse

En statistisk metode for å klassifisere objekter som deler en mangfoldig gruppe i mindre grupper av lignende objekter, hvis likhetsegenskaper ikke er kjent på forhånd. Et eksempel på klyngeanalyse er å segmentere forbrukere i selv-lignende grupper for målrettet markedsføring. Brukes til datautvinning.

1. Crowdsourcing

I crowdsourcing er nyansen at en oppgave eller en jobb er outsourcet, men ikke til en utpekt fagperson eller organisasjon, men til allmennheten i form av en åpen utlysning. Crowdsourcing er en teknikk som kan brukes for å samle inn data fra ulike kilder som tekstmeldinger, sosiale medier-oppdateringer, blogger osv. Dette er en type massesamarbeid og en forekomst av bruk av web.

1. Datafusjon og dataintegrasjon

En flernivåprosess som omhandler assosiasjon, korrelasjon, kombinasjon av data og informasjon fra enkelt- og flere kilder for å oppnå raffinert posisjon, identifisere estimater og fullstendige og rettidige vurderinger av situasjoner, trusler og deres betydning.

Datafusjonsteknikker kombinerer data fra flere sensorer og relatert informasjon fra tilknyttede databaser for å oppnå bedre nøyaktighet og mer spesifikke slutninger enn det som kan oppnås ved bruk av en enkelt sensor alene.

Se også:  En nybegynnerveiledning til Big Data Analytics

1. Datautvinning

Data mining er å sortere gjennom data for å identifisere mønstre og etablere relasjoner. Data mining er referert til de kollektive dataekstraksjonsteknikkene som utføres på store datamengder. Data mining-parametere inkluderer assosiasjon, sekvensanalyse, klassifisering, klynging og prognoser.

Applikasjoner inkluderer utvinning av kundedata for å bestemme segmenter som mest sannsynlig vil svare på et tilbud, utvinning av menneskelige ressurser for å identifisere kjennetegn ved mest vellykkede ansatte, eller markedskurvanalyse for å modellere kjøpsatferden til kundene.

1. Ensemble læring

Det er en kunst å kombinere forskjellige sett med læringsalgoritmer for å improvisere om stabiliteten og prediksjonskraften til modellen. Dette er en type veiledet læring.

1. Genetiske algoritmer

Optimaliseringsteknikker som bruker prosesser som genetisk kombinasjon, mutasjon og naturlig seleksjon i et design basert på begrepene naturlig evolusjon. Genetiske algoritmer er teknikker som brukes til å identifisere de mest mulig viste videoene, TV-programmene og andre former for medier. Det er et evolusjonsmønster som kan gjøres ved bruk av genetiske algoritmer. Video- og medieanalyse kan gjøres ved bruk av genetiske algoritmer.

1. Maskinlæring

Maskinlæring er en annen teknikk som kan brukes til å kategorisere og bestemme det sannsynlige resultatet av et spesifikt sett med data. Machine Learning definerer en programvare som kan være i stand til å bestemme mulige utfall av et bestemt sett med hendelser. Den brukes derfor i prediktiv analyse. Et eksempel på prediktiv analyse er sannsynligheten for å vinne rettssaker eller suksessen til visse produksjoner.

1. Naturlig språkbehandling

Et sett med teknikker fra en subspesialitet innen informatikk (innenfor et felt historisk kalt "kunstig intelligens") og lingvistikk som bruker dataalgoritmer for å analysere menneskelig (naturlig) språk. Mange NLP-teknikker er typer maskinlæring. En anvendelse av NLP er å bruke sentimentanalyse på sosiale medier for å finne ut hvordan potensielle kunder reagerer på en merkevarekampanje.

1. Nevrale nettverk

Ikke-lineære prediktive modeller som lærer gjennom trening og ligner biologiske nevrale nettverk i struktur. De kan brukes til mønstergjenkjenning og optimalisering. Noen nevrale nettverksapplikasjoner involverer overvåket læring og andre involverer uovervåket læring. Eksempler på applikasjoner inkluderer å identifisere kunder med høy verdi som står i fare for å forlate et bestemt selskap og identifisere uredelige forsikringskrav.

Les også:  40 oppsiktsvekkende fakta om Big Data

1. Optimalisering

En portefølje av numeriske teknikker som brukes til å redesigne komplekse systemer og prosesser for å forbedre ytelsen i henhold til ett eller flere objektive mål (f.eks. kostnad, hastighet eller pålitelighet). Eksempler på applikasjoner inkluderer forbedring av operasjonelle prosesser som planlegging, ruting og gulvlayout, og å ta strategiske beslutninger som produktutvalgsstrategi, koblet investeringsanalyse og FoU-porteføljestrategi. Genetiske algoritmer er et eksempel på en optimaliseringsteknikk.

I min neste blogg vil jeg beskrive de resterende 13 Big Data Analytics-teknikkene.

Les: Neste del av et innblikk i 26 store dataanalytiske teknikker