Ako nainštalovať Apache Kafka na CentOS 7

Apache Kafka je škálovateľný a vysoko výkonný systém správ, ktorý dokáže efektívne spracovať obrovské množstvo údajov.

Môžete buď nasadiť Kafka na jeden server, alebo vytvoriť distribuovaný klaster Kafka pre vyšší výkon. Na začiatok tento článok vysvetľuje, ako nainštalovať Apache Kafka na jednu inštanciu servera Vultr CentOS 7.

Predpoklady:

Predtým, ako pôjdete ďalej, mali by ste:

• Nasaďte inštanciu servera Vultr CentOS 7. V závislosti od vašich potrieb možno budete musieť zväčšiť dostupnú pamäť.
• Použite sudo užívateľa na prihlásenie z vášho SSH terminálu.

Krok 1: Aktualizujte systém CentOS 7

Na aktualizáciu systému na najnovší stabilný stav použite príkaz uvedený nižšie:

sudo yum update -y && sudo reboot

Po dokončení reštartu použite na opätovné prihlásenie toho istého používateľa sudo.

Krok 2: Nainštalujte OpenJDK Runtime

Aby ste mohli správne spustiť Apache Kafka, musíte vo svojom systéme nastaviť virtuálny stroj Java. Tu môžete nainštalovať OpenJDK Runtime Environment 1.8.0 pomocou YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Potvrďte svoju inštaláciu pomocou:

java -version

Výstup by sa mal podobať:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Musíte tiež nastaviť premenné prostredia „JAVA_HOME“ a „JRE_HOME“:

sudo vi /etc/profile

K pôvodnému obsahu súboru pripojte nasledujúce riadky:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Uložiť a ukončiť:

:wq

Znova načítajte profil, aby sa zmeny prejavili:

source /etc/profile

Krok 3: Stiahnite si Apache Kafka

Stiahnite si najnovšiu stabilnú verziu Apache Kafka z oficiálnej stránky. V čase písania tohto článku je to 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Rozbaľte archív na preferované miesto, ako napríklad /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Krok 4: Spustite a otestujte Apache Kafka

V tomto bode je Apache Kafka k dispozícii vo vašom systéme. Dajme tomu skúšobnú jazdu.

4.1: Dostaňte sa do adresára Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Spustite server Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Upravte konfiguráciu svojho servera Kafka

 vi bin/kafka-server-start.sh

Upravte využitie pamäte podľa špecifických parametrov systému. Ak napríklad v testovacom prostredí používate inštanciu servera Vultr so 768 MB pamäte, musíte nájsť nasledujúci riadok:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Nahraďte ho:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Uložiť ukončenie:

:wq

4.4: Spustite server Kafka

bin/kafka-server-start.sh config/server.properties

Ak všetko prebehlo úspešne, uvidíte niekoľko správ o stave servera Kafka a posledná znie:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

To znamená, že ste spustili server Kafka.

4.5: Vytvorte tému "test" v novom SSH pripojení

Otvorte nové pripojenie SSH, pomocou nasledujúcich príkazov vytvorte tému „test“:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Svoje témy môžete zobraziť pomocou nasledujúceho príkazu:

bin/kafka-topics.sh --list --zookeeper localhost:2181

V našom prípade bude výstup znieť:

test

4.6: Vytvárajte správy pomocou témy "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Pomocou vyššie uvedeného príkazu môžete zadať ľubovoľný počet správ, ako napríklad:

Welcome aboard!
Bonjour!

Ak sa vám zobrazí chyba podobná ako "WARN Error while fetching metadata with correlation id"pri zadávaní správy, budete musieť server.propertiessúbor aktualizovať o nasledujúce informácie:

port = 9092
advertised.host.name = localhost 

4.7: Zobrazenie správ

Otvorte tretie pripojenie SSH a potom spustite nasledujúce príkazy:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Správy, ktoré ste vytvorili predtým, sa zobrazia pri treťom pripojení SSH. Samozrejme, ak teraz zadáte viac správ z druhého pripojenia SSH, okamžite ich uvidíte pri treťom pripojení SSH.

Nakoniec môžete tieto skripty zastaviť stlačením Ctrl+C na každom pripojení SSH.

To je všetko. Viac o Apache Kafka sa dozviete na oficiálnej stránke. Príjemnú zábavu!