Kuidas installida Apache Kafka CentOS 7-sse

Apache Kafka on skaleeritav ja suure läbilaskevõimega sõnumsidesüsteem, mis suudab tõhusalt käidelda tohutul hulgal andmeid.

Suurema jõudluse tagamiseks saate Kafka juurutada ühes serveris või luua hajutatud Kafka klastri. Alustuseks selgitab see artikkel, kuidas installida Apache Kafka ühele Vultr CentOS 7 serveri eksemplarile.

Eeltingimused:

Enne edasiliikumist peaksite:

• Juurutage Vultr CentOS 7 serveri eksemplar. Sõltuvalt teie vajadustest peate võib-olla suurendama olemasolevat mälumahtu.
• Kasutage oma SSH terminalist sisselogimiseks sudo kasutajat.

1. toiming: värskendage CentOS 7 süsteemi

Kasutage allolevat käsku, et värskendada oma süsteemi uusimale stabiilsele olekule:

sudo yum update -y && sudo reboot

Pärast taaskäivitamise lõppu kasutage uuesti sisselogimiseks sama sudo kasutajat.

2. samm: installige OpenJDK Runtime

Enne Apache Kafka õiget käivitamist peate oma süsteemis seadistama Java virtuaalmasina. Siin saate installida OpenJDK Runtime Environment 1.8.0, kasutades YUM-i:

sudo yum install java-1.8.0-openjdk.x86_64

Kinnitage installimine:

java -version

Väljund peaks sarnanema:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Samuti peate seadistama keskkonnamuutujad "JAVA_HOME" ja "JRE_HOME".

sudo vi /etc/profile

Lisage faili algsele sisule järgmised read:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Salvestage ja lõpetage:

:wq

Muudatuste jõustamiseks laadige profiil uuesti:

source /etc/profile

3. samm: laadige alla Apache Kafka

Laadige ametlikult veebisaidilt alla Apache Kafka uusim stabiilne versioon. Kirjutamise ajal on see 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Pakkige arhiiv lahti eelistatud asukohta, näiteks /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

4. samm: käivitage ja testige Apache Kafkat

Praegu on Apache Kafka teie süsteemis saadaval. Teeme proovisõidu.

4.1: sisenege Kafka kataloogi

cd /opt/kafka_2.11-0.9.0.1

4.2: käivitage Zookeeper server

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: muutke oma Kafka serveri konfiguratsiooni

 vi bin/kafka-server-start.sh

Reguleerige mälukasutust vastavalt oma konkreetsetele süsteemiparameetritele. Näiteks kui kasutate testkeskkonnas Vultr serveri eksemplari 768 MB mäluga, peate leidma järgmise rea:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Asenda see järgmisega:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Väljumise salvestamine:

:wq

4.4: Käivitage Kafka server

bin/kafka-server-start.sh config/server.properties

Kui kõik läks edukalt, näete mitut teadet Kafka serveri oleku kohta ja viimane on järgmine:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

See tähendab, et olete Kafka serveri käivitanud.

4.5: Looge uues SSH-ühenduses teema "test".

Avage uus SSH-ühendus, kasutage teema "test" loomiseks järgmisi käske:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Oma teemasid saate vaadata järgmise käsuga:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Meie puhul on väljund järgmine:

test

4.6: koostage sõnumeid, kasutades teemat "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Ülaltoodud käsu abil saate sisestada soovitud arvu sõnumeid, näiteks:

Welcome aboard!
Bonjour!

Kui kuvatakse samalaadne tõrketeade "WARN Error while fetching metadata with correlation id"kui sõnumi sisestamisel, peate server.propertiesfaili värskendama järgmise teabega.

port = 9092
advertised.host.name = localhost 

4.7: Kuva sõnumid

Avage kolmas SSH-ühendus ja seejärel käivitage järgmised käsud:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Varem koostatud sõnumid kuvatakse kolmandas SSH-ühenduses. Muidugi, kui sisestate praegu rohkem sõnumeid teisest SSH ühendusest, näete neid kohe kolmandal SSH ühendusel.

Lõpuks võite nende skriptide peatamiseks vajutada iga SSH-ühenduse puhul klahvikombinatsiooni Ctrl+C.

See on kõik. Lisateavet Apache Kafka kohta leiate ametlikult veebisaidilt. Lõbutse hästi!