Një pasqyrë në 26 teknika analitike të të dhënave të mëdha: Pjesa 1

" Big Data " është aplikimi i teknikave dhe teknologjive të specializuara për të përpunuar grupe shumë të mëdha të dhënash. Këto grupe të dhënash janë shpesh aq të mëdha dhe komplekse saqë bëhet e vështirë për t'u përpunuar duke përdorur mjetet e menaxhimit të bazës së të dhënave në dorë.

Rritja radikale e Teknologjisë së Informacionit ka çuar në disa kushte komplimentuese në industri. Një nga rezultatet më të qëndrueshme dhe ndoshta më të pranishme, është prania e të dhënave të mëdha. Termi Big Data është një frazë kapëse u krijua për të përshkruar praninë e sasive të mëdha të të dhënave. Efekti rezultant i të pasurit një sasi kaq të madhe të të dhënave është Analiza e të Dhënave.

Analiza e të dhënave është procesi i strukturimit të të dhënave të mëdha. Brenda Big Data, ekzistojnë modele dhe korrelacione të ndryshme që bëjnë të mundur që analitika e të dhënave të bëjë një karakterizim më të mirë të llogaritur të të dhënave. Kjo e bën analizën e të dhënave një nga pjesët më të rëndësishme të teknologjisë së informacionit.

Prandaj, këtu po rendis 26 teknikat e analitikës së të dhënave të mëdha. Kjo listë nuk është aspak shteruese.

1. Testimi A/B

Testimi A/B është një mjet vlerësimi për të identifikuar se cili version i një faqe interneti ose një aplikacioni ndihmon një organizatë ose individ të përmbushë një qëllim biznesi në mënyrë më efektive. Ky vendim merret duke krahasuar se cili version i diçkaje funksionon më mirë. Testimi A/B përdoret zakonisht në zhvillimin e uebit për të siguruar që ndryshimet në një faqe ueb ose komponent faqesh janë të nxitura nga të dhënat dhe jo nga opinioni personal.

Quhet gjithashtu si testimi i derdhur ose testimi i kovës.

Shihni gjithashtu:  Zona gri e të dhënave të mëdha – të bësh dhe të mos bësh

1. Mësimi i rregullave të shoqatës

Një grup teknikash për zbulimin e marrëdhënieve interesante, p.sh., "rregullat e asociimit", midis variablave në bazat e të dhënave të mëdha. Këto teknika përbëhen nga një shumëllojshmëri algoritmesh për të gjeneruar dhe testuar rregulla të mundshme.

Një aplikim është analiza e shportës së tregut, në të cilën një shitës me pakicë mund të përcaktojë se cilat produkte blihen shpesh së bashku dhe ta përdorë këtë informacion për marketing. (Një shembull i përmendur zakonisht është zbulimi se shumë blerës supermarketesh që blejnë nacho blejnë gjithashtu birrë.)

1. Analiza e pemës së klasifikimit

Klasifikimi statistikor është një metodë për identifikimin e kategorive të cilave u përket një vëzhgim i ri. Kërkon një grup trajnimi vëzhgimesh të identifikuara saktë – të dhëna historike me fjalë të tjera.

Klasifikimi statistikor përdoret për:

• Caktoni automatikisht dokumentet në kategori
• Kategorizoni organizmat në grupe
• Zhvilloni profile të studentëve që ndjekin kurse online

1. Analiza Cluster

Një metodë statistikore për klasifikimin e objekteve që ndan një grup të ndryshëm në grupe më të vogla të objekteve të ngjashme, karakteristikat e ngjashmërisë së të cilëve nuk dihen paraprakisht. Një shembull i analizës së grupimeve është segmentimi i konsumatorëve në grupe të ngjashme për marketingun e synuar. Përdoret për Minierat e të Dhënave.

1. Crowdsourcing

Në crowdsourcing, nuanca është, një detyrë ose një punë i jepet jashtë por jo një profesionisti ose organizate të caktuar, por publikut të gjerë në formën e një thirrjeje të hapur. Crowdsourcing është një teknikë që mund të përdoret për të mbledhur të dhëna nga burime të ndryshme si mesazhet me tekst, përditësimet e mediave sociale, bloget, etj. Ky është një lloj bashkëpunimi masiv dhe një shembull i përdorimit të Uebit.

1. Bashkimi i të dhënave dhe integrimi i të dhënave

Një proces me shumë nivele që ka të bëjë me lidhjen, korrelacionin, kombinimin e të dhënave dhe informacionit nga burime të vetme dhe të shumëfishta për të arritur pozicionin e rafinuar, identifikimin e vlerësimeve dhe vlerësimet e plota dhe në kohë të situatave, kërcënimeve dhe rëndësisë së tyre.

Teknikat e bashkimit të të dhënave kombinojnë të dhëna nga sensorë të shumtë dhe informacione të lidhura nga bazat e të dhënave shoqëruese për të arritur saktësi të përmirësuar dhe konkluzione më specifike sesa mund të arriheshin vetëm me përdorimin e një sensori të vetëm.

Shihni gjithashtu:  Një udhëzues fillestar për analitikën e të dhënave të mëdha

1. Minierat e të Dhënave

Minimi i të dhënave është klasifikimi i të dhënave për të identifikuar modelet dhe për të vendosur marrëdhënie. Minimi i të dhënave i referohet teknikave kolektive të nxjerrjes së të dhënave që kryhen në vëllim të madh të të dhënave. Parametrat e nxjerrjes së të dhënave përfshijnë Asociacionin, analizën e sekuencës, klasifikimin, grupimin dhe parashikimin.

Aplikimet përfshijnë nxjerrjen e të dhënave të klientëve për të përcaktuar segmentet që kanë më shumë gjasa t'i përgjigjen një oferte, nxjerrjen e të dhënave të burimeve njerëzore për të identifikuar karakteristikat e punonjësve më të suksesshëm ose analizën e shportës së tregut për të modeluar sjelljen e blerjeve të klientëve.

1. Mësimi i ansamblit

Është një art i kombinimit të grupeve të ndryshme të algoritmeve të të mësuarit së bashku për të improvizuar mbi stabilitetin dhe fuqinë parashikuese të modelit. Ky është një lloj mësimi i mbikëqyrur.

1. Algoritmet gjenetike

Teknikat e optimizimit që përdorin procese të tilla si kombinimi gjenetik, mutacioni dhe përzgjedhja natyrore në një dizajn të bazuar në konceptet e evolucionit natyror. Algoritmet gjenetike janë teknika që përdoren për të identifikuar videot, shfaqjet televizive dhe format e tjera të mediave më të shikuara. Ekziston një model evolucionar që mund të bëhet duke përdorur algoritme gjenetike. Video analitika dhe media mund të bëhet duke përdorur algoritme gjenetike.

1. Mësimi i Makinerisë

Mësimi i makinerisë është një teknikë tjetër që mund të përdoret për të kategorizuar dhe për të përcaktuar rezultatin e mundshëm të një grupi specifik të dhënash. Mësimi i Makinerisë përcakton një softuer që mund të jetë në gjendje të përcaktojë rezultatet e mundshme të një grupi të caktuar ngjarjesh. Prandaj përdoret në analitikën parashikuese. Një shembull i analitikës parashikuese është probabiliteti i fitimit të çështjeve ligjore ose suksesi i prodhimeve të caktuara.

1. Përpunimi i gjuhës natyrore

Një grup teknikash nga një nënspecialitet i shkencës kompjuterike (brenda një fushe të quajtur historikisht "inteligjencë artificiale") dhe gjuhësisë që përdor algoritme kompjuterike për të analizuar gjuhën njerëzore (natyrore). Shumë teknika NLP janë lloje të mësimit të makinerive. Një aplikim i NLP është duke përdorur analizën e ndjenjave në mediat sociale për të përcaktuar se si klientët e ardhshëm po reagojnë ndaj një fushate markimi.

1. Rrjetet nervore

Modele parashikuese jo-lineare që mësojnë përmes trajnimit dhe ngjajnë me rrjetet nervore biologjike në strukturë. Ato mund të përdoren për njohjen dhe optimizimin e modeleve. Disa aplikacione të rrjeteve nervore përfshijnë mësimin e mbikëqyrur dhe të tjerët përfshijnë mësimin e pambikëqyrur. Shembujt e aplikacioneve përfshijnë identifikimin e klientëve me vlerë të lartë që janë në rrezik të largohen nga një kompani e caktuar dhe identifikimin e pretendimeve mashtruese të sigurimit.

Lexoni gjithashtu:  40 fakte marramendëse rreth të dhënave të mëdha

1. Optimizimi

Një portofol teknikash numerike të përdorura për të ridizajnuar sisteme dhe procese komplekse për të përmirësuar performancën e tyre sipas një ose më shumë masave objektive (p.sh. kosto, shpejtësi ose besueshmëri). Shembujt e aplikacioneve përfshijnë përmirësimin e proceseve operacionale të tilla si planifikimi, drejtimi dhe shtrirja e dyshemesë, dhe marrja e vendimeve strategjike si strategjia e gamës së produkteve, analiza e lidhur e investimeve dhe strategjia e portofolit të R&D. Algoritmet gjenetike janë një shembull i një teknike optimizimi.

Në blogun tim të ardhshëm, unë do të përshkruaj 13 teknikat e mbetura të analizës së të dhënave të mëdha.

Lexoni: Pjesa tjetër e një pasqyre në 26 teknika analitike të të dhënave të mëdha