Sådan installeres Apache Kafka på CentOS 7

Apache Kafka er et skalerbart og high-throughput meddelelsessystem, som er i stand til effektivt at håndtere en enorm mængde data.

Du kan enten implementere Kafka på én server eller bygge en distribueret Kafka-klynge for større ydeevne. Som en starter forklarer denne artikel, hvordan man installerer Apache Kafka på en enkelt Vultr CentOS 7-serverinstans.

Forudsætninger:

Inden du går videre, bør du:

• Implementer en Vultr CentOS 7-serverinstans. Afhængigt af dine behov skal du muligvis øge den tilgængelige hukommelse.
• Brug en sudo-bruger til at logge ind fra din SSH-terminal.

Trin 1: Opdater CentOS 7-systemet

Brug kommandoen nedenfor til at opdatere dit system til den seneste stabile status:

sudo yum update -y && sudo reboot

Når genstarten er afsluttet, skal du bruge den samme sudo-bruger til at logge på igen.

Trin 2: Installer OpenJDK Runtime

Du skal konfigurere en virtuel Java-maskine på dit system, før du kan køre Apache Kafka korrekt. Her kan du installere OpenJDK Runtime Environment 1.8.0 ved hjælp af YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Valider din installation med:

java -version

Outputtet skal ligne:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Du skal også opsætte miljøvariablerne "JAVA_HOME" og "JRE_HOME":

sudo vi /etc/profile

Føj følgende linjer til det originale indhold af filen:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Gem og luk:

:wq

Genindlæs profilen for at sætte dine ændringer i kraft:

source /etc/profile

Trin 3: Download Apache Kafka

Download den seneste stabile version af Apache Kafka fra den officielle hjemmeside. I skrivende stund er det 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Pak arkivet ud til en foretrukken placering, såsom /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Trin 4: Start og test Apache Kafka

På dette tidspunkt er Apache Kafka tilgængelig på dit system. Lad os prøve den.

4.1: Gå ind i Kafka-biblioteket

cd /opt/kafka_2.11-0.9.0.1

4.2: Start Zookeeper-serveren

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Rediger konfigurationen af ​​din Kafka-server

 vi bin/kafka-server-start.sh

Juster hukommelsesforbruget i henhold til dine specifikke systemparametre. For eksempel, hvis du bruger en Vultr-serverinstans med 768 MB hukommelse i testmiljøet, skal du finde følgende linje:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Erstat den med:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Gem en afslutning:

:wq

4.4: Start Kafka-serveren

bin/kafka-server-start.sh config/server.properties

Hvis alt gik med succes, vil du se flere meddelelser om Kafka-serverens status, og den sidste vil læse:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Det betyder, at du har startet Kafka-serveren.

4.5: Opret et emne "test" i en ny SSH-forbindelse

Åbn en ny SSH-forbindelse, brug følgende kommandoer til at oprette et emne "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Du kan se dine emner med følgende kommando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

I vores tilfælde vil outputtet læse:

test

4.6: Lav beskeder ved at bruge emnet "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Ved at bruge kommandoen ovenfor kan du indtaste et vilkårligt antal beskeder, som du ønsker, såsom:

Welcome aboard!
Bonjour!

Hvis du modtager en fejl, der ligner, "WARN Error while fetching metadata with correlation id"når du indtaster en meddelelse, skal du opdatere server.propertiesfilen med følgende oplysninger:

port = 9092
advertised.host.name = localhost 

4.7: Vis beskeder

Åbn en tredje SSH-forbindelse, og kør derefter følgende kommandoer:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! De meddelelser, du producerede tidligere, vises i den tredje SSH-forbindelse. Selvfølgelig, hvis du indtaster flere beskeder fra den anden SSH-forbindelse nu, vil du straks se dem på den tredje SSH-forbindelse.

Til sidst kan du trykke på Ctrl+C på hver SSH-forbindelse for at stoppe disse scripts.

Det er det. Du kan lære mere om Apache Kafka på den officielle hjemmeside. Hav det sjovt!