Kako namestiti Apache Kafka na CentOS 7

Apache Kafka je razširljiv in visoko zmogljiv sistem za sporočanje, ki je sposoben učinkovito ravnati z ogromno količino podatkov.

Kafko lahko namestite na enem strežniku ali zgradite porazdeljeno gručo Kafka za večjo zmogljivost. Za začetek je v tem članku razloženo, kako namestiti Apache Kafka na en sam primerek strežnika Vultr CentOS 7.

Predpogoji:

Preden nadaljujete, morate:

• Namestite primerek strežnika Vultr CentOS 7. Glede na vaše potrebe boste morda morali povečati razpoložljivi pomnilnik.
• Uporabite uporabnika sudo za prijavo s terminala SSH.

1. korak: Posodobite sistem CentOS 7

Uporabite spodnji ukaz za posodobitev sistema na najnovejše stabilno stanje:

sudo yum update -y && sudo reboot

Ko je ponovni zagon končan, uporabite istega uporabnika sudo, da se znova prijavite.

2. korak: Namestite Runtime OpenJDK

Preden lahko pravilno zaženete Apache Kafka, morate v sistemu nastaviti navidezni stroj Java. Tukaj lahko namestite OpenJDK Runtime Environment 1.8.0 z uporabo YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Potrdite svojo namestitev z:

java -version

Izhod bi moral biti podoben:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Prav tako morate nastaviti spremenljivki okolja "JAVA_HOME" in "JRE_HOME":

sudo vi /etc/profile

Prvotni vsebini datoteke dodajte naslednje vrstice:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Shrani in zapusti:

:wq

Znova naložite profil, da uveljavite spremembe:

source /etc/profile

3. korak: Prenesite Apache Kafka

Prenesite najnovejšo stabilno različico Apache Kafka z uradnega spletnega mesta. V času pisanja je 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Razpakirajte arhiv na želeno lokacijo, kot je /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

4. korak: Zaženite in preizkusite Apache Kafka

Na tej točki je Apache Kafka na voljo v vašem sistemu. Opravimo testno vožnjo.

4.1: Pojdite v imenik Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Zaženite strežnik Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Spremenite konfiguracijo vašega strežnika Kafka

 vi bin/kafka-server-start.sh

Prilagodite porabo pomnilnika glede na vaše specifične sistemske parametre. Če na primer uporabljate primerek strežnika Vultr s 768 MB pomnilnika v testnem okolju, morate poiskati naslednjo vrstico:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Zamenjaj ga z:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Shrani opustitev:

:wq

4.4: Zaženite strežnik Kafka

bin/kafka-server-start.sh config/server.properties

Če je vse potekalo uspešno, boste videli več sporočil o statusu strežnika Kafka, zadnje pa se glasi:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

To pomeni, da ste zagnali strežnik Kafka.

4.5: Ustvarite temo "test" v novi povezavi SSH

Odprite novo povezavo SSH, uporabite naslednje ukaze, da ustvarite temo "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Svoje teme si lahko ogledate z naslednjim ukazom:

bin/kafka-topics.sh --list --zookeeper localhost:2181

V našem primeru se bo izhod glasil:

test

4.6: Ustvarite sporočila s temo "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Z zgornjim ukazom lahko vnesete poljubno število sporočil, kot so:

Welcome aboard!
Bonjour!

Če prejmete podobno napako kot "WARN Error while fetching metadata with correlation id"pri vnašanju sporočila, boste morali posodobiti server.propertiesdatoteko z naslednjimi informacijami:

port = 9092
advertised.host.name = localhost 

4.7: Prikaz sporočil

Odprite tretjo povezavo SSH in nato zaženite naslednje ukaze:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Sporočila, ki ste jih ustvarili prej, bodo prikazana v tretji povezavi SSH. Seveda, če zdaj vnesete več sporočil iz druge SSH povezave, jih boste takoj videli na tretji SSH povezavi.

Končno lahko pritisnete Ctrl+C na vsaki povezavi SSH, da ustavite te skripte.

To je to. Več o Apache Kafki lahko izveste na uradni spletni strani. Zabavaj se!