Как да инсталирате Apache Kafka на CentOS 7

Apache Kafka е мащабируема и високопроизводителна система за съобщения, която е в състояние ефективно да обработва огромно количество данни.

Можете или да разположите Kafka на един сървър, или да изградите разпределен Kafka клъстер за по-голяма производителност. Като начало, тази статия обяснява как да инсталирате Apache Kafka на един единствен сървър на Vultr CentOS 7.

Предпоставки:

Преди да продължите, трябва:

• Разгръщане на сървърен екземпляр Vultr CentOS 7. В зависимост от вашите нужди може да се наложи да увеличите наличната памет.
• Използвайте sudo потребител, за да влезете от вашия SSH терминал.

Стъпка 1: Актуализирайте системата CentOS 7

Използвайте командата по-долу, за да актуализирате системата си до последното стабилно състояние:

sudo yum update -y && sudo reboot

След като рестартирането приключи, използвайте същия потребител на sudo, за да влезете отново.

Стъпка 2: Инсталирайте OpenJDK Runtime

Трябва да настроите виртуална машина Java на вашата система, преди да можете да стартирате правилно Apache Kafka. Тук можете да инсталирате OpenJDK Runtime Environment 1.8.0 с помощта на YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Потвърдете вашата инсталация с:

java -version

Резултатът трябва да прилича на:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Вие също трябва да настроите променливите на средата "JAVA_HOME" и "JRE_HOME":

sudo vi /etc/profile

Добавете следните редове към оригиналното съдържание на файла:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Запазете и излезте:

:wq

Презаредете профила, за да приложите промените си:

source /etc/profile

Стъпка 3: Изтеглете Apache Kafka

Изтеглете най-новата стабилна версия на Apache Kafka от официалния уебсайт. Към момента на писане е 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Разархивирайте архива на предпочитано място, като например /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Стъпка 4: Стартирайте и тествайте Apache Kafka

В този момент Apache Kafka е наличен във вашата система. Нека го направим тест драйв.

4.1: Влезте в директорията на Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Стартирайте сървъра Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Променете конфигурацията на вашия сървър на Kafka

 vi bin/kafka-server-start.sh

Регулирайте използването на паметта според вашите специфични системни параметри. Например, ако използвате сървърен екземпляр Vultr със 768MB памет в тестовата среда, трябва да намерите следния ред:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Заменете го с:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Запазете отказ:

:wq

4.4: Стартирайте сървъра на Kafka

bin/kafka-server-start.sh config/server.properties

Ако всичко е минало успешно, ще видите няколко съобщения за състоянието на сървъра Kafka, а последното ще чете:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Това означава, че сте стартирали сървъра на Kafka.

4.5: Създайте тема "тест" в нова SSH връзка

Отворете нова SSH връзка, използвайте следните команди, за да създадете тема "тест":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Можете да видите вашите теми със следната команда:

bin/kafka-topics.sh --list --zookeeper localhost:2181

В нашия случай изходът ще чете:

test

4.6: Създаване на съобщения с помощта на темата "тест"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Използвайки командата по-горе, можете да въведете произволен брой съобщения, както желаете, като например:

Welcome aboard!
Bonjour!

Ако получите грешка, подобна на тази "WARN Error while fetching metadata with correlation id"при въвеждане на съобщение, ще трябва да актуализирате server.propertiesфайла със следната информация:

port = 9092
advertised.host.name = localhost 

4.7: Показване на съобщения

Отворете трета SSH връзка и след това изпълнете следните команди:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Съобщенията, които сте създали по-рано, ще се покажат в третата SSH връзка. Разбира се, ако въведете още съобщения от втората SSH връзка сега, веднага ще ги видите на третата SSH връзка.

И накрая, можете да натиснете Ctrl+C на всяка SSH връзка, за да спрете тези скриптове.

Това е. Можете да научите повече за Apache Kafka на официалния уебсайт. Забавлявай се!