Apache Kafka és un sistema de missatgeria escalable i d'alt rendiment que és capaç de gestionar de manera eficient una gran quantitat de dades.
Podeu implementar Kafka en un servidor o crear un clúster Kafka distribuït per obtenir un major rendiment. Per començar, aquest article explica com instal·lar Apache Kafka en una única instància del servidor Vultr CentOS 7.
Abans de continuar, hauríeu de:
Utilitzeu l'ordre següent per actualitzar el vostre sistema a l'últim estat estable:
sudo yum update -y && sudo reboot
Un cop finalitzat el reinici, utilitzeu el mateix usuari sudo per iniciar sessió de nou.
Heu de configurar una màquina virtual Java al vostre sistema abans de poder executar Apache Kafka correctament. Aquí podeu instal·lar OpenJDK Runtime Environment 1.8.0 mitjançant YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Valideu la vostra instal·lació amb:
java -version
La sortida hauria de semblar-se a:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
També heu de configurar les variables d'entorn "JAVA_HOME" i "JRE_HOME":
sudo vi /etc/profile
Afegiu les línies següents al contingut original del fitxer:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Desa i surt:
:wq
Torneu a carregar el perfil per aplicar els vostres canvis:
source /etc/profile
Baixeu la darrera versió estable d'Apache Kafka des del lloc web oficial. En el moment d'escriure, és 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Descomprimiu l'arxiu a una ubicació preferida, com ara /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
En aquest moment, Apache Kafka està disponible al vostre sistema. Donem-li una prova de conducció.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Ajusteu l'ús de la memòria segons els paràmetres específics del vostre sistema. Per exemple, si utilitzeu una instància de servidor Vultr amb 768 MB de memòria a l'entorn de prova, haureu de localitzar la línia següent:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Substituïu-lo per:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Desa una sortida:
:wq
bin/kafka-server-start.sh config/server.properties
Si tot ha anat correctament, veureu diversos missatges sobre l'estat del servidor Kafka, i l'últim dirà:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Això vol dir que heu iniciat el servidor Kafka.
Obriu una connexió SSH nova, utilitzeu les ordres següents per crear un tema "prova":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Podeu veure els vostres temes amb l'ordre següent:
bin/kafka-topics.sh --list --zookeeper localhost:2181
En el nostre cas, la sortida es llegirà:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Amb l'ordre anterior, podeu introduir qualsevol nombre de missatges com vulgueu, com ara:
Welcome aboard!
Bonjour!
Si rebeu un error semblant a "WARN Error while fetching metadata with correlation id"quan introduïu un missatge, haureu d'actualitzar el server.propertiesfitxer amb la informació següent:
port = 9092
advertised.host.name = localhost
Obriu una tercera connexió SSH i, a continuació, executeu les ordres següents:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! Els missatges que heu produït anteriorment es mostraran a la tercera connexió SSH. Per descomptat, si ara introduïu més missatges des de la segona connexió SSH, immediatament els veureu a la tercera connexió SSH.
Finalment, podeu prémer Ctrl+C a cada connexió SSH per aturar aquests scripts.
Això és. Podeu obtenir més informació sobre Apache Kafka al lloc web oficial. Diverteix-te!
La Intel·ligència Artificial no està en el futur, és aquí mateix en el present. En aquest bloc Llegiu com les aplicacions d'Intel·ligència Artificial han afectat diversos sectors.
També ets víctima d'atacs DDOS i estàs confós sobre els mètodes de prevenció? Llegiu aquest article per resoldre les vostres consultes.
Potser haureu sentit que els pirates informàtics guanyen molts diners, però us heu preguntat mai com guanyen aquest tipus de diners? anem a discutir.
Vols veure els invents revolucionaris de Google i com aquests invents van canviar la vida de tots els éssers humans actuals? A continuació, llegiu al bloc per veure els invents de Google.
El concepte de cotxes autònoms per sortir a les carreteres amb l'ajuda de la intel·ligència artificial és un somni que tenim des de fa temps. Però malgrat les diverses promeses, no es veuen enlloc. Llegeix aquest blog per saber-ne més...
A mesura que la ciència evoluciona a un ritme ràpid, fent-se càrrec de molts dels nostres esforços, també augmenten els riscos de sotmetre'ns a una singularitat inexplicable. Llegeix, què pot significar per a nosaltres la singularitat.
Llegeix el blog per conèixer de la manera més senzilla les diferents capes de l'Arquitectura Big Data i les seves funcionalitats.
Els mètodes d'emmagatzematge de les dades que han anat evolucionant poden ser des del naixement de les dades. Aquest bloc tracta l'evolució de l'emmagatzematge de dades a partir d'una infografia.
En aquest món digital, els dispositius domèstics intel·ligents s'han convertit en una part crucial de les vides. A continuació, es mostren alguns avantatges sorprenents dels dispositius domèstics intel·ligents sobre com fan que la nostra vida valgui la pena i sigui més senzilla.
Recentment, Apple va llançar macOS Catalina 10.15.4, una actualització de suplements per solucionar problemes, però sembla que l'actualització està causant més problemes que provoquen el bloqueig de les màquines Mac. Llegiu aquest article per obtenir més informació
