Kuinka asentaa Apache Kafka CentOS 7:ään

Apache Kafka on skaalautuva ja suuritehoinen viestintäjärjestelmä, joka pystyy käsittelemään tehokkaasti valtavan määrän dataa.

Voit joko ottaa Kafkan käyttöön yhdellä palvelimella tai rakentaa hajautetun Kafka-klusterin suorituskyvyn parantamiseksi. Aluksi tämä artikkeli selittää, kuinka Apache Kafka asennetaan yhteen Vultr CentOS 7 -palvelinesiintymään.

Edellytykset:

Ennen kuin jatkat, sinun tulee:

• Ota käyttöön Vultr CentOS 7 -palvelinesiintymä. Tarpeistasi riippuen saatat joutua lisäämään käytettävissä olevaa muistia.
• Käytä sudo-käyttäjää kirjautuaksesi sisään SSH-päätteestäsi.

Vaihe 1: Päivitä CentOS 7 -järjestelmä

Käytä alla olevaa komentoa päivittääksesi järjestelmäsi uusimpaan vakaaseen tilaan:

sudo yum update -y && sudo reboot

Kun uudelleenkäynnistys on valmis, kirjaudu sisään uudelleen samalla sudo-käyttäjällä.

Vaihe 2: Asenna OpenJDK Runtime

Sinun on asennettava Java-virtuaalikone järjestelmällesi, ennen kuin voit suorittaa Apache Kafkan oikein. Täällä voit asentaa OpenJDK Runtime Environment 1.8.0:n YUM:n avulla:

sudo yum install java-1.8.0-openjdk.x86_64

Vahvista asennuksesi:

java -version

Tulosteen tulee olla seuraavanlainen:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Sinun on myös määritettävä ympäristömuuttujat "JAVA_HOME" ja "JRE_HOME":

sudo vi /etc/profile

Liitä seuraavat rivit tiedoston alkuperäiseen sisältöön:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Tallenna ja lopeta:

:wq

Päivitä profiili, jotta muutokset tulevat voimaan:

source /etc/profile

Vaihe 3: Lataa Apache Kafka

Lataa Apache Kafkan uusin vakaa versio viralliselta verkkosivustolta. Kirjoitushetkellä se on 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Pura arkisto haluamaasi paikkaan, kuten /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Vaihe 4: Käynnistä ja testaa Apache Kafka

Tässä vaiheessa Apache Kafka on saatavilla järjestelmässäsi. Tehdään sille koeajo.

4.1: Siirry Kafka-hakemistoon

cd /opt/kafka_2.11-0.9.0.1

4.2: Käynnistä Zookeeper-palvelin

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Muokkaa Kafka-palvelimesi asetuksia

 vi bin/kafka-server-start.sh

Säädä muistin käyttöä tiettyjen järjestelmäparametrien mukaan. Jos esimerkiksi käytät testiympäristössä Vultr-palvelinesiintymää, jossa on 768 Mt muistia, sinun on paikannettava seuraava rivi:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Korvaa se seuraavalla:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Tallenna lopetus:

:wq

4.4: Käynnistä Kafka-palvelin

bin/kafka-server-start.sh config/server.properties

Jos kaikki meni onnistuneesti, näet useita Kafka-palvelimen tilasta kertovia viestejä, joista viimeinen lukee:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Tämä tarkoittaa, että olet käynnistänyt Kafka-palvelimen.

4.5: Luo aihe "testi" uuteen SSH-yhteyteen

Avaa uusi SSH-yhteys, käytä seuraavia komentoja aiheen "testi" luomiseen:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Voit tarkastella aiheitasi seuraavalla komennolla:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Meidän tapauksessamme tulos kuuluu seuraavasti:

test

4.6: Tuota viestejä käyttämällä aihetta "testi"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Yllä olevan komennon avulla voit syöttää haluamasi määrän viestejä, kuten:

Welcome aboard!
Bonjour!

Jos saat samankaltaisen virheilmoituksen kuin "WARN Error while fetching metadata with correlation id"viestiä syöttäessäsi, sinun on päivitettävä server.propertiestiedosto seuraavilla tiedoilla:

port = 9092
advertised.host.name = localhost 

4.7: Näytä viestit

Avaa kolmas SSH-yhteys ja suorita sitten seuraavat komennot:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Aiemmin tuottamasi viestit näkyvät kolmannessa SSH-yhteydessä. Tietenkin, jos syötät nyt lisää viestejä toisesta SSH-yhteydestä, näet ne heti kolmannessa SSH-yhteydessä.

Lopuksi voit painaa Ctrl+C jokaisessa SSH-yhteydessä pysäyttääksesi nämä komentosarjat.

Se siitä. Voit oppia lisää Apache Kafkasta virallisella verkkosivustolla. Pidä hauskaa!