Si të instaloni Apache Kafka në CentOS 7

Apache Kafka është një sistem mesazhesh i shkallëzuar dhe me performancë të lartë, i cili është në gjendje të trajtojë me efikasitet një sasi të madhe të dhënash.

Ju ose mund të vendosni Kafka në një server ose të ndërtoni një grup të shpërndarë Kafka për performancë më të madhe. Si fillim, ky artikull shpjegon se si të instaloni Apache Kafka në një shembull të vetëm të serverit Vultr CentOS 7.

Kushtet paraprake:

Përpara se të vazhdoni, duhet:

• Vendosni një shembull të serverit Vultr CentOS 7. Në varësi të nevojave tuaja, mund t'ju duhet të rrisni memorien e disponueshme.
• Përdorni një përdorues sudo për t'u identifikuar nga terminali juaj SSH.

Hapi 1: Përditësoni sistemin CentOS 7

Përdorni komandën e mëposhtme për të përditësuar sistemin tuaj në statusin më të fundit të qëndrueshëm:

sudo yum update -y && sudo reboot

Pasi të ketë mbaruar rindezja, përdorni të njëjtin përdorues sudo për t'u identifikuar përsëri.

Hapi 2: Instaloni OpenJDK Runtime

Ju duhet të konfiguroni një makinë virtuale Java në sistemin tuaj përpara se të mund të ekzekutoni Apache Kafka siç duhet. Këtu mund të instaloni OpenJDK Runtime Environment 1.8.0 duke përdorur YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Vërtetoni instalimin tuaj me:

java -version

Prodhimi duhet të ngjajë:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Ju gjithashtu duhet të konfiguroni variablat e mjedisit "JAVA_HOME" dhe "JRE_HOME":

sudo vi /etc/profile

Shtojini rreshtat e mëposhtëm në përmbajtjen origjinale të skedarit:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Ruani dhe hiqni dorë:

:wq

Ringarko profilin për të vënë në fuqi ndryshimet e tua:

source /etc/profile

Hapi 3: Shkarkoni Apache Kafka

Shkarkoni versionin më të fundit të qëndrueshëm të Apache Kafka nga faqja zyrtare e internetit. Në kohën e shkrimit, është 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Unzip arkiv në një vend të preferuar, të tilla si /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Hapi 4: Filloni dhe provoni Apache Kafka

Në këtë pikë, Apache Kafka është i disponueshëm në sistemin tuaj. Le t'i bëjmë një provë.

4.1: Hyni në drejtorinë Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Nisni serverin Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Ndryshoni konfigurimin e serverit tuaj Kafka

 vi bin/kafka-server-start.sh

Rregulloni përdorimin e memories sipas parametrave të sistemit tuaj specifik. Për shembull, nëse jeni duke përdorur një shembull të serverit Vultr me memorie 768 MB në mjedisin e testimit, duhet të gjeni linjën e mëposhtme:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Zëvendësojeni me:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Ruani një lënie:

:wq

4.4: Nisni serverin Kafka

bin/kafka-server-start.sh config/server.properties

Nëse gjithçka shkoi me sukses, do të shihni disa mesazhe në lidhje me statusin e serverit Kafka dhe i fundit do të lexojë:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Kjo do të thotë që ju keni nisur serverin Kafka.

4.5: Krijo një temë "test" në një lidhje të re SSH

Hapni një lidhje të re SSH, përdorni komandat e mëposhtme për të krijuar një temë "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Ju mund t'i shikoni temat tuaja me komandën e mëposhtme:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Në rastin tonë, dalja do të lexojë:

test

4.6: Prodhoni mesazhe duke përdorur temën "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Duke përdorur komandën e mësipërme, mund të futni çdo numër mesazhesh sipas dëshirës, ​​si p.sh.

Welcome aboard!
Bonjour!

Nëse merrni një gabim të ngjashëm me atë "WARN Error while fetching metadata with correlation id"gjatë futjes së një mesazhi, do t'ju duhet të përditësoni server.propertiesskedarin me informacionin e mëposhtëm:

port = 9092
advertised.host.name = localhost 

4.7: Shfaq mesazhet

Hapni një lidhje të tretë SSH dhe më pas ekzekutoni komandat e mëposhtme:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Mesazhet që keni prodhuar më parë do të shfaqen në lidhjen e tretë SSH. Sigurisht, nëse futni më shumë mesazhe nga lidhja e dytë SSH tani, do t'i shihni menjëherë në lidhjen e tretë SSH.

Më në fund, mund të shtypni Ctrl+C në çdo lidhje SSH për të ndaluar këto skripta.

Kjo eshte. Mund të mësoni më shumë rreth Apache Kafka në faqen zyrtare të internetit. Argëtohu!