Hur man installerar Apache Kafka på CentOS 7

Apache Kafka är ett skalbart meddelandesystem med hög genomströmning som effektivt kan hantera en enorm mängd data.

Du kan antingen distribuera Kafka på en server eller bygga ett distribuerat Kafka-kluster för bättre prestanda. Till att börja med förklarar den här artikeln hur man installerar Apache Kafka på en enda Vultr CentOS 7-serverinstans.

Förutsättningar:

Innan du går vidare bör du:

• Distribuera en Vultr CentOS 7-serverinstans. Beroende på dina behov kan du behöva utöka det tillgängliga minnet.
• Använd en sudo-användare för att logga in från din SSH-terminal.

Steg 1: Uppdatera CentOS 7-systemet

Använd kommandot nedan för att uppdatera ditt system till den senaste stabila statusen:

sudo yum update -y && sudo reboot

När omstarten är klar använder du samma sudo-användare för att logga in igen.

Steg 2: Installera OpenJDK Runtime

Du måste ställa in en virtuell Java-maskin på ditt system innan du kan köra Apache Kafka ordentligt. Här kan du installera OpenJDK Runtime Environment 1.8.0 med YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Validera din installation med:

java -version

Utgången ska likna:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Du måste också ställa in miljövariablerna "JAVA_HOME" och "JRE_HOME":

sudo vi /etc/profile

Lägg till följande rader till det ursprungliga innehållet i filen:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Spara och avsluta:

:wq

Ladda om profilen för att sätta dina ändringar i kraft:

source /etc/profile

Steg 3: Ladda ner Apache Kafka

Ladda ner den senaste stabila versionen av Apache Kafka från den officiella webbplatsen. I skrivande stund är det 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Packa upp arkivet till en önskad plats, till exempel /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Steg 4: Starta och testa Apache Kafka

Vid denna tidpunkt är Apache Kafka tillgänglig på ditt system. Låt oss provköra den.

4.1: Gå in i Kafka-katalogen

cd /opt/kafka_2.11-0.9.0.1

4.2: Starta Zookeeper-servern

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Ändra konfigurationen av din Kafka-server

 vi bin/kafka-server-start.sh

Justera minnesanvändningen enligt dina specifika systemparametrar. Om du till exempel använder en Vultr-serverinstans med 768 MB minne i testmiljön, måste du hitta följande rad:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Byt ut den mot:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Spara ett slut:

:wq

4.4: Starta Kafka-servern

bin/kafka-server-start.sh config/server.properties

Om allt gick framgångsrikt kommer du att se flera meddelanden om Kafka-serverns status, och det sista kommer att läsa:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Det betyder att du har startat Kafka-servern.

4.5: Skapa ett ämne "test" i en ny SSH-anslutning

Öppna en ny SSH-anslutning, använd följande kommandon för att skapa ett ämne "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Du kan se dina ämnen med följande kommando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

I vårt fall kommer utdata att läsa:

test

4.6: Skapa meddelanden med ämnet "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Med kommandot ovan kan du mata in valfritt antal meddelanden som du vill, till exempel:

Welcome aboard!
Bonjour!

Om du får ett felmeddelande som liknar "WARN Error while fetching metadata with correlation id"när du matar in ett meddelande, måste du uppdatera server.propertiesfilen med följande information:

port = 9092
advertised.host.name = localhost 

4.7: Visa meddelanden

Öppna en tredje SSH-anslutning och kör sedan följande kommandon:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Meddelanden du producerade tidigare kommer att visas i den tredje SSH-anslutningen. Naturligtvis, om du matar in fler meddelanden från den andra SSH-anslutningen nu, kommer du omedelbart att se dem på den tredje SSH-anslutningen.

Slutligen kan du trycka på Ctrl+C på varje SSH-anslutning för att stoppa dessa skript.

Det är allt. Du kan lära dig mer om Apache Kafka på den officiella hemsidan. Ha så kul!