Jak nainstalovat Apache Kafka na CentOS 7

Apache Kafka je škálovatelný a vysoce výkonný systém zasílání zpráv, který je schopen efektivně zpracovávat obrovské množství dat.

Můžete buď nasadit Kafka na jeden server, nebo vytvořit distribuovaný cluster Kafka pro vyšší výkon. Pro začátek tento článek vysvětluje, jak nainstalovat Apache Kafka na jednu instanci serveru Vultr CentOS 7.

Předpoklady:

Než budete pokračovat, měli byste:

• Nasaďte instanci serveru Vultr CentOS 7. V závislosti na vašich potřebách může být nutné zvětšit dostupnou paměť.
• Použijte sudo uživatele k přihlášení z vašeho SSH terminálu.

Krok 1: Aktualizujte systém CentOS 7

Pomocí níže uvedeného příkazu aktualizujte svůj systém na nejnovější stabilní stav:

sudo yum update -y && sudo reboot

Po dokončení restartu použijte stejného uživatele sudo k opětovnému přihlášení.

Krok 2: Nainstalujte OpenJDK Runtime

Než budete moci správně spustit Apache Kafka, musíte ve svém systému nastavit virtuální stroj Java. Zde můžete nainstalovat OpenJDK Runtime Environment 1.8.0 pomocí YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Ověřte svou instalaci pomocí:

java -version

Výstup by měl vypadat takto:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Musíte také nastavit proměnné prostředí "JAVA_HOME" a "JRE_HOME":

sudo vi /etc/profile

K původnímu obsahu souboru připojte následující řádky:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Uložit a ukončit:

:wq

Znovu načtěte profil, aby se změny projevily:

source /etc/profile

Krok 3: Stáhněte si Apache Kafka

Stáhněte si nejnovější stabilní verzi Apache Kafka z oficiálních stránek. V době psaní tohoto článku je 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Rozbalte archiv do preferovaného umístění, například /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Krok 4: Spusťte a otestujte Apache Kafka

V tomto okamžiku je ve vašem systému k dispozici Apache Kafka. Pojďme to vyzkoušet.

4.1: Vstupte do adresáře Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Spusťte server Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Upravte konfiguraci svého serveru Kafka

 vi bin/kafka-server-start.sh

Upravte využití paměti podle vašich specifických parametrů systému. Pokud například v testovacím prostředí používáte instanci serveru Vultr se 768 MB paměti, musíte najít následující řádek:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Nahraďte jej:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Uložit ukončení:

:wq

4.4: Spusťte server Kafka

bin/kafka-server-start.sh config/server.properties

Pokud vše proběhlo úspěšně, zobrazí se několik zpráv o stavu serveru Kafka a poslední bude znít:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

To znamená, že jste spustili server Kafka.

4.5: Vytvořte téma "test" v novém SSH připojení

Otevřete nové připojení SSH a pomocí následujících příkazů vytvořte téma "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Svá témata můžete zobrazit pomocí následujícího příkazu:

bin/kafka-topics.sh --list --zookeeper localhost:2181

V našem případě bude výstup znít:

test

4.6: Vytvářejte zprávy pomocí tématu "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Pomocí výše uvedeného příkazu můžete zadat libovolný počet zpráv, například:

Welcome aboard!
Bonjour!

Pokud se zobrazí chyba podobná jako "WARN Error while fetching metadata with correlation id"při zadávání zprávy, budete muset server.propertiessoubor aktualizovat o následující informace:

port = 9092
advertised.host.name = localhost 

4.7: Zobrazení zpráv

Otevřete třetí připojení SSH a poté spusťte následující příkazy:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Zprávy, které jste vytvořili dříve, se zobrazí při třetím připojení SSH. Samozřejmě, pokud nyní zadáte více zpráv z druhého připojení SSH, okamžitě je uvidíte na třetím připojení SSH.

Nakonec můžete tyto skripty zastavit stisknutím Ctrl+C na každém připojení SSH.

A je to. Více o Apache Kafka se můžete dozvědět na oficiálních stránkách. Bavte se!