Як встановити Apache Kafka на CentOS 7

Apache Kafka — це масштабована і високопродуктивна система обміну повідомленнями, яка здатна ефективно обробляти величезну кількість даних.

Ви можете розгорнути Kafka на одному сервері або створити розподілений кластер Kafka для підвищення продуктивності. Для початку ця стаття пояснює, як встановити Apache Kafka на один екземпляр сервера Vultr CentOS 7.

Передумови:

Перш ніж рухатися далі, ви повинні:

• Розгорніть екземпляр сервера Vultr CentOS 7. Залежно від ваших потреб, можливо, знадобиться збільшити доступну пам’ять.
• Використовуйте користувача sudo для входу зі свого терміналу SSH.

Крок 1: Оновіть систему CentOS 7

Використовуйте команду нижче, щоб оновити вашу систему до останнього стабільного стану:

sudo yum update -y && sudo reboot

Після завершення перезавантаження скористайтеся тим же користувачем sudo, щоб увійти знову.

Крок 2: Встановіть OpenJDK Runtime

Вам потрібно налаштувати віртуальну машину Java у вашій системі, перш ніж ви зможете правильно запустити Apache Kafka. Тут ви можете встановити OpenJDK Runtime Environment 1.8.0 за допомогою YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Підтвердьте свою установку за допомогою:

java -version

Вихід повинен нагадувати:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Вам також потрібно налаштувати змінні середовища "JAVA_HOME" і "JRE_HOME":

sudo vi /etc/profile

Додайте такі рядки до вихідного вмісту файлу:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Збережіть і вийдіть:

:wq

Перезавантажте профіль, щоб ввести зміни в дію:

source /etc/profile

Крок 3: Завантажте Apache Kafka

Завантажте останню стабільну версію Apache Kafka з офіційного сайту. На момент написання статті це 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Розпакуйте архів у бажане місце, наприклад /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Крок 4: Запустіть і перевірте Apache Kafka

На даний момент Apache Kafka доступний у вашій системі. Давайте проведемо тест-драйв.

4.1: Зайти в каталог Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Запустіть сервер Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Змініть конфігурацію вашого сервера Kafka

 vi bin/kafka-server-start.sh

Відрегулюйте використання пам’яті відповідно до ваших системних параметрів. Наприклад, якщо ви використовуєте екземпляр сервера Vultr з 768 МБ пам’яті в тестовому середовищі, вам потрібно знайти такий рядок:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Замініть його на:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Зберегти звільнення:

:wq

4.4: Запустіть сервер Kafka

bin/kafka-server-start.sh config/server.properties

Якщо все пройшло успішно, ви побачите кілька повідомлень про статус сервера Kafka, і останнє буде читати:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Це означає, що ви запустили сервер Kafka.

4.5: Створіть тему "тест" у новому з'єднанні SSH

Відкрийте нове з’єднання SSH, скористайтеся такими командами, щоб створити тему «тест»:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Ви можете переглянути свої теми за допомогою такої команди:

bin/kafka-topics.sh --list --zookeeper localhost:2181

У нашому випадку вихід буде виглядати так:

test

4.6: Створюйте повідомлення за допомогою теми "тест"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Використовуючи наведену вище команду, ви можете ввести будь-яку кількість повідомлень за бажанням, наприклад:

Welcome aboard!
Bonjour!

Якщо ви отримуєте помилку, подібну до помилки під "WARN Error while fetching metadata with correlation id"час введення повідомлення, вам потрібно оновити server.propertiesфайл, указавши таку інформацію:

port = 9092
advertised.host.name = localhost 

4.7: Відображення повідомлень

Відкрийте третє з’єднання SSH, а потім виконайте такі команди:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Повідомлення, які ви створили раніше, відображатимуться в третьому з’єднанні SSH. Звичайно, якщо ви зараз введете більше повідомлень із другого SSH-з’єднання, ви відразу побачите їх у третьому SSH-з’єднанні.

Нарешті, ви можете натиснути Ctrl+C на кожному з’єднанні SSH, щоб зупинити ці сценарії.

Це воно. Ви можете дізнатися більше про Apache Kafka на офіційному сайті. Веселіться!