Hvernig á að setja upp Apache Kafka á CentOS 7

Apache Kafka er stigstærð og afkastamikil skilaboðakerfi sem er fær um að meðhöndla mikið magn af gögnum á skilvirkan hátt.

Þú getur annað hvort sett Kafka á einn netþjón eða byggt upp dreifðan Kafka þyrping til að fá meiri afköst. Til að byrja með útskýrir þessi grein hvernig á að setja upp Apache Kafka á einu Vultr CentOS 7 netþjónstilviki.

Forkröfur:

Áður en þú heldur áfram ættirðu að:

• Settu upp Vultr CentOS 7 netþjónstilvik. Það fer eftir þörfum þínum, þú gætir þurft að auka tiltækt minni.
• Notaðu sudo notanda til að skrá þig inn frá SSH flugstöðinni þinni.

Skref 1: Uppfærðu CentOS 7 kerfið

Notaðu skipunina hér að neðan til að uppfæra kerfið þitt í nýjustu stöðugu stöðuna:

sudo yum update -y && sudo reboot

Eftir að endurræsingu er lokið skaltu nota sama sudo notanda til að skrá þig inn aftur.

Skref 2: Settu upp OpenJDK Runtime

Þú þarft að setja upp Java sýndarvél á vélinni þinni áður en þú getur keyrt Apache Kafka almennilega. Hér geturðu sett upp OpenJDK Runtime Environment 1.8.0 með YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Staðfestu uppsetninguna þína með:

java -version

Úttakið ætti að líkjast:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Þú þarft líka að setja upp „JAVA_HOME“ og „JRE_HOME“ umhverfisbreyturnar:

sudo vi /etc/profile

Bættu eftirfarandi línum við upprunalega innihald skráarinnar:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Vista og hætta:

:wq

Endurhlaða prófílinn til að koma breytingunum þínum í framkvæmd:

source /etc/profile

Skref 3: Sæktu Apache Kafka

Sæktu nýjustu stöðugu útgáfuna af Apache Kafka frá opinberu vefsíðunni. Þegar þetta er skrifað er það 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Taktu niður skjalasafnið á ákjósanlegan stað, svo sem /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Skref 4: Byrjaðu og prófaðu Apache Kafka

Á þessum tímapunkti er Apache Kafka fáanlegur á vélinni þinni. Við skulum prófa það.

4.1: Farðu inn í Kafka möppuna

cd /opt/kafka_2.11-0.9.0.1

4.2: Ræstu Zookeeper þjóninn

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Breyttu stillingum Kafka netþjónsins þíns

 vi bin/kafka-server-start.sh

Stilltu minnisnotkunina í samræmi við sérstakar kerfisbreytur þínar. Til dæmis, ef þú ert að nota Vultr netþjónstilvik með 768MB minni í prófunarumhverfinu þarftu að finna eftirfarandi línu:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Skiptu um það með:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Vistaðu hætta:

:wq

4.4: Ræstu Kafka netþjóninn

bin/kafka-server-start.sh config/server.properties

Ef allt gekk vel muntu sjá nokkur skilaboð um stöðu Kafka þjónsins og sú síðasta mun lesa:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Þetta þýðir að þú hefur ræst Kafka þjóninn.

4.5: Búðu til topic "próf" í nýrri SSH tengingu

Opnaðu nýja SSH tengingu, notaðu eftirfarandi skipanir til að búa til efni "próf":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Þú getur skoðað efnin þín með eftirfarandi skipun:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Í okkar tilviki mun úttakið lesa:

test

4.6: Búðu til skilaboð með því að nota efnið "próf"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Með því að nota skipunina hér að ofan geturðu slegið inn hvaða fjölda skilaboða sem þú vilt, svo sem:

Welcome aboard!
Bonjour!

Ef þú færð villu svipað og "WARN Error while fetching metadata with correlation id"þegar þú setur inn skilaboð þarftu að uppfæra server.propertiesskrána með eftirfarandi upplýsingum:

port = 9092
advertised.host.name = localhost 

4.7: Birta skilaboð

Opnaðu þriðju SSH tenginguna og keyrðu síðan eftirfarandi skipanir:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Skilaboðin sem þú framleiddir áðan munu birtast í þriðju SSH tengingunni. Auðvitað, ef þú setur inn fleiri skilaboð frá annarri SSH tengingunni núna muntu sjá þau strax á þriðju SSH tengingunni.

Að lokum geturðu ýtt á Ctrl+C á hverri SSH tengingu til að stöðva þessar forskriftir.

Það er það. Þú getur lært meira um Apache Kafka á opinberu vefsíðunni. Góða skemmtun!