Како инсталирати Апацхе Кафка на ЦентОС 7

Апацхе Кафка је скалабилан систем за размену порука високог протока који је способан да ефикасно рукује огромном количином података.

Можете или да примените Кафку на једном серверу или да направите дистрибуирани Кафка кластер за веће перформансе. За почетак, овај чланак објашњава како да инсталирате Апацхе Кафка на једну инстанцу сервера Вултр ЦентОС 7.

Предуслови:

Пре него што кренете даље, требало би да:

• Примените инстанцу сервера Вултр ЦентОС 7. У зависности од ваших потреба, можда ћете морати да повећате доступну меморију.
• Користите судо корисника да бисте се пријавили са вашег ССХ терминала.

Корак 1: Ажурирајте систем ЦентОС 7

Користите наредбу у наставку да ажурирате свој систем на најновији стабилан статус:

sudo yum update -y && sudo reboot

Након што се рестартовање заврши, користите истог судо корисника да се поново пријавите.

Корак 2: Инсталирајте ОпенЈДК Рунтиме

Морате да подесите Јава виртуелну машину на свом систему да бисте могли правилно да покренете Апацхе Кафка. Овде можете да инсталирате ОпенЈДК Рунтиме Енвиронмент 1.8.0 користећи ИУМ:

sudo yum install java-1.8.0-openjdk.x86_64

Потврдите своју инсталацију помоћу:

java -version

Излаз би требало да личи на:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Такође морате да подесите променљиве окружења „ЈАВА_ХОМЕ“ и „ЈРЕ_ХОМЕ“:

sudo vi /etc/profile

Додајте следеће редове оригиналном садржају датотеке:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Сачувај и затвори:

:wq

Поново учитајте профил да бисте своје промене применили:

source /etc/profile

Корак 3: Преузмите Апацхе Кафку

Преузмите најновију стабилну верзију Апацхе Кафке са званичне веб странице. У време писања, то је 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Распакујте архиву на жељену локацију, као што је /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Корак 4: Покрените и тестирајте Апацхе Кафка

У овом тренутку, Апацхе Кафка је доступан на вашем систему. Хајде да пробамо.

4.1: Уђите у Кафка директоријум

cd /opt/kafka_2.11-0.9.0.1

4.2: Покрените Зоокеепер сервер

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Измените конфигурацију вашег Кафка сервера

 vi bin/kafka-server-start.sh

Подесите употребу меморије у складу са вашим специфичним системским параметрима. На пример, ако користите инстанцу Вултр сервера са 768 МБ меморије у тест окружењу, морате да пронађете следећи ред:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Замените га са:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Сачувајте одустајање:

:wq

4.4: Покрените Кафка сервер

bin/kafka-server-start.sh config/server.properties

Ако је све прошло успешно, видећете неколико порука о статусу Кафка сервера, а последња ће гласити:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

То значи да сте покренули Кафка сервер.

4.5: Направите тему "тест" у новој ССХ вези

Отворите нову ССХ везу, користите следеће команде да бисте креирали тему „тест“:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Своје теме можете да видите помоћу следеће команде:

bin/kafka-topics.sh --list --zookeeper localhost:2181

У нашем случају, излаз ће гласити:

test

4.6: Направите поруке користећи тему "тест"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Користећи горњу команду, можете да унесете било који број порука колико желите, као што су:

Welcome aboard!
Bonjour!

Ако добијете грешку сличну оној "WARN Error while fetching metadata with correlation id"приликом уноса поруке, мораћете да ажурирате server.propertiesдатотеку следећим информацијама:

port = 9092
advertised.host.name = localhost 

4.7: Прикажи поруке

Отворите трећу ССХ везу, а затим покрените следеће команде:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Поруке које сте раније произвели ће се приказати у трећој ССХ вези. Наравно, ако сада унесете више порука са друге ССХ везе, одмах ћете их видети на трећој ССХ вези.

Коначно, можете притиснути Цтрл+Ц на свакој ССХ вези да зауставите ове скрипте.

То је то. Можете сазнати више о Апацхе Кафки на званичном сајту. Забави се!