Kaip įdiegti „Apache Kafka“ „CentOS 7“.

Apache Kafka yra keičiamo dydžio ir didelio našumo pranešimų sistema, galinti efektyviai tvarkyti didžiulį duomenų kiekį.

Galite įdiegti Kafka viename serveryje arba sukurti paskirstytą Kafka klasterį, kad padidintumėte našumą. Pirmiausia šiame straipsnyje paaiškinama, kaip įdiegti „Apache Kafka“ viename „Vultr CentOS 7“ serverio egzemplioriuje.

Būtinos sąlygos:

Prieš tęsdami, turėtumėte:

• Įdiekite „Vultr CentOS 7“ serverio egzempliorių. Atsižvelgiant į jūsų poreikius, gali tekti padidinti turimą atmintį.
• Naudokite sudo vartotoją, kad prisijungtumėte iš savo SSH terminalo.

1 veiksmas: atnaujinkite „CentOS 7“ sistemą

Norėdami atnaujinti sistemą į naujausią stabilią būseną, naudokite toliau pateiktą komandą:

sudo yum update -y && sudo reboot

Baigę paleisti iš naujo, naudokite tą patį sudo vartotoją, kad vėl prisijungtumėte.

2 veiksmas: įdiekite „OpenJDK Runtime“.

Kad galėtumėte tinkamai paleisti „Apache Kafka“, sistemoje turite nustatyti „Java“ virtualią mašiną. Čia galite įdiegti OpenJDK Runtime Environment 1.8.0 naudodami YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Patvirtinkite savo diegimą naudodami:

java -version

Išvestis turėtų būti panaši į:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Taip pat turite nustatyti „JAVA_HOME“ ir „JRE_HOME“ aplinkos kintamuosius:

sudo vi /etc/profile

Prie pradinio failo turinio pridėkite šias eilutes:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Išsaugoti ir išeiti:

:wq

Iš naujo įkelkite profilį, kad pakeitimai įsigaliotų:

source /etc/profile

3 veiksmas: atsisiųskite „Apache Kafka“.

Atsisiųskite naujausią stabilią Apache Kafka versiją iš oficialios svetainės. Rašymo metu tai yra 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Išpakuokite archyvą į pageidaujamą vietą, pvz /opt.:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

4 veiksmas: paleiskite ir išbandykite „Apache Kafka“.

Šiuo metu jūsų sistemoje yra „Apache Kafka“. Pabandykime.

4.1: įeikite į Kafka katalogą

cd /opt/kafka_2.11-0.9.0.1

4.2: paleiskite „Zookeeper“ serverį

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: pakeiskite savo Kafka serverio konfigūraciją

 vi bin/kafka-server-start.sh

Sureguliuokite atminties naudojimą pagal konkrečius sistemos parametrus. Pavyzdžiui, jei bandomojoje aplinkoje naudojate Vultr serverio egzempliorių su 768 MB atmintimi, turite rasti šią eilutę:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Pakeiskite jį:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Išsaugokite metimą:

:wq

4.4: paleiskite Kafka serverį

bin/kafka-server-start.sh config/server.properties

Jei viskas pavyko, pamatysite kelis pranešimus apie Kafka serverio būseną, o paskutinis bus toks:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Tai reiškia, kad paleidote Kafka serverį.

4.5: sukurkite temą „testas“ naujame SSH ryšyje

Atidarykite naują SSH ryšį, naudokite šias komandas, kad sukurtumėte temą „testas“:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Savo temas galite peržiūrėti naudodami šią komandą:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Mūsų atveju išvestis bus tokia:

test

4.6: kurkite pranešimus naudodami temą „testas“

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Naudodami aukščiau esančią komandą, galite įvesti bet kokį pranešimų skaičių, kaip norite, pavyzdžiui:

Welcome aboard!
Bonjour!

Jei gaunate klaidą, panašią į "WARN Error while fetching metadata with correlation id"įvesdami pranešimą, turėsite atnaujinti server.propertiesfailą su šia informacija:

port = 9092
advertised.host.name = localhost 

4.7: Rodyti pranešimus

Atidarykite trečiąjį SSH ryšį ir paleiskite šias komandas:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Anksčiau sukurti pranešimai bus rodomi trečiajame SSH jungtyje. Žinoma, jei dabar įvesite daugiau pranešimų iš antrojo SSH ryšio, iškart juos pamatysite trečiajame SSH jungtyje.

Galiausiai galite paspausti Ctrl + C prie kiekvieno SSH ryšio, kad sustabdytumėte šiuos scenarijus.

Viskas. Daugiau apie Apache Kafka galite sužinoti oficialioje svetainėje. Pasilinksmink!