13 Eines dextracció de dades comercials de Big Data

Al meu darrer bloc , vam parlar de les eines d'extracció de dades de codi obert. L'objectiu principal d'una "eina ETL" és reunir el contingut de diverses bases de dades o sistemes operatius de la vostra organització i moure/copiar/transferir totes aquestes dades a una base de dades centralitzada. Aquesta "base de dades centralitzada" sovint s'anomena "magatzem de dades". Alternativament, les eines ETL també s'utilitzen per dur a terme transformacions de dades complexes que són difícils de fer amb sentències SQL simples.

Aquí teniu una llista d'algunes eines ETL comercials:

• DADES D'IBM INFOSPHERE -

És una eina ETL i forma part de la suite IBM Information Platforms Solutions i IBM InfoSphere. Utilitza una notació gràfica per construir solucions d'integració de dades. Integra dades en diversos sistemes mitjançant un marc paral·lel d'alt rendiment i admet la gestió de metadades ampliada i la connectivitat empresarial. La plataforma escalable proporciona una integració més flexible de tot tipus de dades, incloses les grans dades en repòs (basades en Hadoop) o en moviment (basades en fluxos), en plataformes distribuïdes i mainframe.

• Serveis d'integració de Microsoft SQL Server (SSIS) -

Microsoft SSIS és una eina d'integració de dades empresarials, transformació de dades i migració de dades integrada a la base de dades SQL Server de Microsoft. Es pot utilitzar per a una varietat de tasques relacionades amb la integració, com ara l'anàlisi i la neteja de dades i l'execució de processos d'extracció, transformació i càrrega per actualitzar els magatzems de dades.

Vegeu també:  Una visió de 26 tècniques d'anàlisi de Big Data

• ADEPTIA ETL SUITE –

Adeptia ofereix una funcionalitat ETL completa combinada amb una interfície fàcil i intuïtiva; donant als usuaris la possibilitat de transformar una sèrie de fitxers diferents. Adeptia ETL Suite està dissenyat per a persones que no són informàtics, fins i tot, proporcionant als usuaris empresarials el poder d'accedir a les seves dades en temps real i transformar les seves pròpies dades per adaptar-les a les seves operacions, alhora que permet que TI gestione els processos i garanteixi que les dades es gestionen de manera segura i segura. correctament.

• Informàtica Powercenter -

Informatica Power Center és una eina d'extracció, transformació i càrrega àmpliament utilitzada per crear magatzems de dades empresarials. Els components principals d'Informatica PowerCenter són les seves eines de client, servidor, servidor de repositoris i repositori. El servidor de Power Center i el servidor de dipòsit constitueixen la capa ETL, que completa el processament ETL.

• IBI IWAY DATAMIGRATOR –

Data Migrator és una eina automatitzada potent i completa dissenyada per simplificar dràsticament els processos d'extracció, transformació i càrrega (ETL), inclosa la creació, el manteniment i l'ampliació de magatzems de dades, centres de dades i magatzems de dades operatives. Una interfície intuïtiva permet una creació ràpida de processos ETL d'extrem a extrem que impliquen estructures de dades heterogènies a través de plataformes informàtiques diferents. A més, una funció de captura de dades de canvi només carrega els registres modificats a la vostra font de dades, reduint dràsticament el temps necessari per actualitzar les dades i facilitant un magatzem de dades gairebé en temps real.

Vegeu també:  L'àrea grisa de Big Data: coses a fer i a no fer

• Elixir Data ETL -

Elixir Data ETL està dissenyat per oferir una manipulació de dades autoservei sota demanda per als usuaris empresarials, així com per a les necessitats de processament de dades a nivell empresarial. El seu paradigma de modelatge visual redueix dràsticament el temps necessari per dissenyar, provar i implementar l'extracció, agregació i transformació de dades, un procés crític per a qualsevol procés de processament d'aplicacions, informes empresarials i mesura de rendiment, data mart o iniciatives d'emmagatzematge de dades.

• SYNCSORT DMX -

Syncsort DMX aporta totes les transformacions de dades a un motor ETL en memòria de major rendiment. Les transformacions es processen sobre la marxa, eliminant la necessitat de costoses àrees d'estadi de bases de dades o empènyer manualment les transformacions a la base de dades.

• Gestió de dades SAS -

SAS Data Management permet als usuaris empresarials actualitzar les dades, modificar els processos i analitzar els resultats ells mateixos, alliberant-se per a altres projectes. A més, un glossari empresarial integrat, així com la gestió de metadades de SAS i de tercers i les capacitats de visualització del llinatge fan que tothom estigui en la mateixa pàgina.

• Serveis de dades SAP -

Ajuda a integrar, transformar i millorar les dades a nivell de projecte o empresa. Ofereix una única solució de classe empresarial per a la integració de dades, la qualitat de les dades, el perfil de dades i el processament de dades de text que permet als usuaris integrar, transformar, millorar i lliurar dades.

• ORACLE DATA INTEGRATOR ENTERPRISE EDITION –

Ofereix tecnologia d'extracte de càrrega i transformació (E-LT) que millora el rendiment i redueix els costos d'integració de dades, fins i tot en sistemes heterogenis. Ofereix suport de plataforma heterogènia d'alt rendiment i menor TCO per a mòduls de coneixement i integració de dades empresarials per optimitzar la productivitat i extensibilitat dels desenvolupadors.

• Meta Suite -

Meta Suite us ofereix un temps de valoració ràpid, escalabilitat i una àmplia selecció de tipus de base de dades i fitxers d'origen i de destinació compatibles. A part del funcionament normal d'extracció, càrrega i fusió de dades operatives, també es pot utilitzar per consolidar i racionalitzar dades i oferir com a tal suport per a la gestió de dades mestres.

Llegiu també:  Una guia per a principiants a l'anàlisi de dades grans

• INTEGRADOR DE DADES DE PERVASIVE -

Ara forma part d'Actian. Realitza operacions d'integració complexes, tot i que el programari és molt fàcil d'utilitzar i no requereix un conjunt d'habilitats especialitzades. Les seves riques funcions són altament intuïtives i configurables per al disseny, el desplegament i la gestió, sense el xoc de l'adhesiu. Té la mateixa interfície d'usuari web amb totes les funcions que s'utilitza tant per a les versions locals com per al núvol.

• Flux de dades de Sagent -

És un motor d'integració potent i flexible que recopila dades de fonts diferents. Està dissenyat per Pitney Bowes Software i ofereix un conjunt complet d'eines de transformació de dades per millorar els seus valors empresarials. Permet analitzar informació i crear informes significatius per ajudar a comprendre el vostre negoci

Llegiu també: Les  15 millors eines de Big Data el 2017

L'elecció de qualsevol programari o eina es decideix per quin tipus de requisit té i quin varia d'una empresa a una altra. Un negoci de telecomunicacions tindria dades grans i complexes per gestionar en comparació amb la botiga de roba. Per tant, una empresa de telecomunicacions seleccionaria una eina que tingui funcions per operar amb dades complexes. Mentre que, una botiga minorista optaria per una eina fàcil d'utilitzar amb menys complexitats, ja que no té les habilitats de programació ni els coneixements tècnics.

Al meu següent bloc, enumeraria les eines per a la següent capa de l'Arquitectura de referència.