Как да инсталирате Apache Kafka на CentOS 7

Apache Kafka е мащабируема и високопроизводителна система за съобщения, която е в състояние ефективно да обработва огромно количество данни.

Можете или да разположите Kafka на един сървър, или да изградите разпределен Kafka клъстер за по-голяма производителност. Като начало, тази статия обяснява как да инсталирате Apache Kafka на един единствен сървър на Vultr CentOS 7.

Предпоставки:

Преди да продължите, трябва:

  • Разгръщане на сървърен екземпляр Vultr CentOS 7. В зависимост от вашите нужди може да се наложи да увеличите наличната памет.
  • Използвайте sudo потребител, за да влезете от вашия SSH терминал.

Стъпка 1: Актуализирайте системата CentOS 7

Използвайте командата по-долу, за да актуализирате системата си до последното стабилно състояние:

sudo yum update -y && sudo reboot

След като рестартирането приключи, използвайте същия потребител на sudo, за да влезете отново.

Стъпка 2: Инсталирайте OpenJDK Runtime

Трябва да настроите виртуална машина Java на вашата система, преди да можете да стартирате правилно Apache Kafka. Тук можете да инсталирате OpenJDK Runtime Environment 1.8.0 с помощта на YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Потвърдете вашата инсталация с:

java -version

Резултатът трябва да прилича на:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Вие също трябва да настроите променливите на средата "JAVA_HOME" и "JRE_HOME":

sudo vi /etc/profile

Добавете следните редове към оригиналното съдържание на файла:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Запазете и излезте:

:wq

Презаредете профила, за да приложите промените си:

source /etc/profile

Стъпка 3: Изтеглете Apache Kafka

Изтеглете най-новата стабилна версия на Apache Kafka от официалния уебсайт. Към момента на писане е 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Разархивирайте архива на предпочитано място, като например /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Стъпка 4: Стартирайте и тествайте Apache Kafka

В този момент Apache Kafka е наличен във вашата система. Нека го направим тест драйв.

4.1: Влезте в директорията на Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Стартирайте сървъра Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Променете конфигурацията на вашия сървър на Kafka

 vi bin/kafka-server-start.sh

Регулирайте използването на паметта според вашите специфични системни параметри. Например, ако използвате сървърен екземпляр Vultr със 768MB памет в тестовата среда, трябва да намерите следния ред:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Заменете го с:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Запазете отказ:

:wq

4.4: Стартирайте сървъра на Kafka

bin/kafka-server-start.sh config/server.properties

Ако всичко е минало успешно, ще видите няколко съобщения за състоянието на сървъра Kafka, а последното ще чете:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Това означава, че сте стартирали сървъра на Kafka.

4.5: Създайте тема "тест" в нова SSH връзка

Отворете нова SSH връзка, използвайте следните команди, за да създадете тема "тест":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Можете да видите вашите теми със следната команда:

bin/kafka-topics.sh --list --zookeeper localhost:2181

В нашия случай изходът ще чете:

test

4.6: Създаване на съобщения с помощта на темата "тест"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Използвайки командата по-горе, можете да въведете произволен брой съобщения, както желаете, като например:

Welcome aboard!
Bonjour!

Ако получите грешка, подобна на тази "WARN Error while fetching metadata with correlation id"при въвеждане на съобщение, ще трябва да актуализирате server.propertiesфайла със следната информация:

port = 9092
advertised.host.name = localhost 

4.7: Показване на съобщения

Отворете трета SSH връзка и след това изпълнете следните команди:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Съобщенията, които сте създали по-рано, ще се покажат в третата SSH връзка. Разбира се, ако въведете още съобщения от втората SSH връзка сега, веднага ще ги видите на третата SSH връзка.

И накрая, можете да натиснете Ctrl+C на всяка SSH връзка, за да спрете тези скриптове.

Това е. Можете да научите повече за Apache Kafka на официалния уебсайт. Забавлявай се!


Leave a Comment

Инсталирайте Plesk на CentOS 7

Инсталирайте Plesk на CentOS 7

Използване на различна система? Plesk е собствен контролен панел за уеб хост, който позволява на потребителите да администрират своите лични и/или клиентски уебсайтове, бази данни

Как да инсталирате Squid Proxy на CentOS

Как да инсталирате Squid Proxy на CentOS

Squid е популярна, безплатна програма за Linux, която ви позволява да създадете уеб прокси за препращане. В това ръководство ще видите как да инсталирате Squid на CentOS, за да ви обърне

Как да инсталирате Lighttpd (LLMP стек) на CentOS 6

Как да инсталирате Lighttpd (LLMP стек) на CentOS 6

Въведение Lighttpd е форк на Apache, чиято цел е да бъде много по-малко ресурсоемка. Той е лек, откъдето идва и името му, и е доста лесен за използване. Инсталирайте

Конфигуриране на статична мрежа и IPv6 на CentOS 7

Конфигуриране на статична мрежа и IPv6 на CentOS 7

VULTR наскоро направи промени от своя страна и вече всичко трябва да работи добре от кутията с активиран NetworkManager. Ако желаете да деактивирате

Промяна на Icinga2 за използване на модел главен/клиент на CentOS 6 или CentOS 7

Промяна на Icinga2 за използване на модел главен/клиент на CentOS 6 или CentOS 7

Icinga2 е мощна система за наблюдение и когато се използва в модел главен-клиент, тя може да замени необходимостта от проверки на базата на NRPE. Главният клиент

Как да инсталирате Apache Cassandra 3.11.x на CentOS 7

Как да инсталирате Apache Cassandra 3.11.x на CentOS 7

Използване на различна система? Apache Cassandra е безплатна система за управление на база данни NoSQL с отворен код, която е проектирана да осигури мащабируемост, висока

Как да инсталирате Microweber на CentOS 7

Как да инсталирате Microweber на CentOS 7

Използване на различна система? Microweber е CMS и онлайн магазин с отворен код за плъзгане и пускане. Изходният код на Microweber се хоства на GitHub. Това ръководство ще ви покаже

Как да инсталирате Mattermost 4.1 на CentOS 7

Как да инсталирате Mattermost 4.1 на CentOS 7

Използване на различна система? Mattermost е самостоятелно хоствана алтернатива с отворен код на Slack SAAS услугата за съобщения. С други думи, с Mattermost, вие ca

Създаване на мрежа от сървъри на Minecraft с BungeeCord на Debian 8, Debian 9 или CentOS 7

Създаване на мрежа от сървъри на Minecraft с BungeeCord на Debian 8, Debian 9 или CentOS 7

Какво ви трябва Vultr VPS с поне 1 GB RAM. SSH достъп (с root/административни привилегии). Стъпка 1: Инсталиране на BungeeCord На първо място

Lets Encrypt на Plesk

Lets Encrypt на Plesk

Контролният панел на Plesk разполага с много приятна интеграция за Lets Encrypt. Lets Encrypt е един от единствените доставчици на SSL, които предоставят пълно сертификати

Позволява криптиране на cPanel

Позволява криптиране на cPanel

Lets Encrypt е сертифициращ орган, посветен на предоставянето на SSL сертификати безплатно. cPanel изгради чиста интеграция, така че вие ​​и вашият клиент

Как да инсталирате Concrete5 на CentOS 7

Как да инсталирате Concrete5 на CentOS 7

Използване на различна система? Concrete5 е CMS с отворен код, който предлага много отличителни и полезни функции за подпомагане на редакторите при лесното създаване на съдържание и

Как да инсталирате табло за преглед на CentOS 7

Как да инсталирате табло за преглед на CentOS 7

Използване на различна система? Review Board е безплатен инструмент с отворен код за преглед на изходен код, документация, изображения и много други. Това е уеб базиран софтуер

Настройте HTTP удостоверяване с Nginx на CentOS 7

Настройте HTTP удостоверяване с Nginx на CentOS 7

В това ръководство ще научите как да настроите HTTP удостоверяване за уеб сървър на Nginx, работещ на CentOS 7. Изисквания За да започнете, ще ви трябва

Как да инсталирате YOURLS на CentOS 7

Как да инсталирате YOURLS на CentOS 7

YOURLS (Your Own URL Shortener) е приложение за съкращаване на URL адреси и анализ на данни с отворен код. В тази статия ще разгледаме процеса на инсталиране

Как да инсталирате и конфигурирате ArangoDB на CentOS 7

Как да инсталирате и конфигурирате ArangoDB на CentOS 7

Използване на различна система? Въведение ArangoDB е NoSQL база данни с отворен код с гъвкав модел на данни за документи, графики и ключ-стойности. то е

Използване на Etckeeper за контрол на версиите на /etc

Използване на Etckeeper за контрол на версиите на /etc

Въведение Директорията /etc/ играе критична роля в начина, по който функционира една Linux система. Причината за това е, че почти всяка системна конфигурация

Защо трябва да използвате SSHFS? Как да монтирате отдалечена файлова система със SSHFS на CentOS 6

Защо трябва да използвате SSHFS? Как да монтирате отдалечена файлова система със SSHFS на CentOS 6

Много системни администратори управляват големи количества сървъри. Когато файловете трябва да бъдат достъпни на различни сървъри, влизането във всеки от тях поотделно ок

Настройване на сървър на Half Life 2 на CentOS 6

Настройване на сървър на Half Life 2 на CentOS 6

Този урок ще обхване процеса на инсталиране на сървър за игри Half Life 2 на CentOS 6 System. Стъпка 1: Инсталиране на предпоставките За да настроите ou

Как да инсталирате Laravel GitScrum на CentOS 7

Как да инсталирате Laravel GitScrum на CentOS 7

Laravel GitScrum или GitScrum е инструмент за производителност с отворен код, предназначен да помогне на екипите за разработка да внедрят методологията на Scrum по подобен начин.

Възходът на машините: Реални приложения на AI

Възходът на машините: Реални приложения на AI

Изкуственият интелект не е в бъдещето, тук е точно в настоящето. В този блог Прочетете как приложенията за изкуствен интелект са повлияли на различни сектори.

DDOS атаки: кратък преглед

DDOS атаки: кратък преглед

Вие също сте жертва на DDOS атаки и сте объркани относно методите за превенция? Прочетете тази статия, за да разрешите вашите запитвания.

Чудили ли сте се как хакерите печелят пари?

Чудили ли сте се как хакерите печелят пари?

Може би сте чували, че хакерите печелят много пари, но чудили ли сте се някога как печелят такива пари? нека обсъдим.

Революционни изобретения на Google, които ще улеснят живота ви.

Революционни изобретения на Google, които ще улеснят живота ви.

Искате ли да видите революционни изобретения на Google и как тези изобретения промениха живота на всяко човешко същество днес? След това прочетете в блога, за да видите изобретенията на Google.

Friday Essential: Какво се случи с колите, задвижвани от изкуствен интелект?

Friday Essential: Какво се случи с колите, задвижвани от изкуствен интелект?

Концепцията за самоуправляващи се автомобили да тръгват по пътищата с помощта на изкуствен интелект е мечта, която имаме от известно време. Но въпреки няколкото обещания, те не се виждат никъде. Прочетете този блог, за да научите повече…

Технологична сингулярност: далечно бъдеще на човешката цивилизация?

Технологична сингулярност: далечно бъдеще на човешката цивилизация?

Тъй като науката се развива с бързи темпове, поемайки много от нашите усилия, рискът да се подложим на необяснима сингулярност също нараства. Прочетете какво може да означава сингулярността за нас.

Еволюция на съхранението на данни – инфографика

Еволюция на съхранението на данни – инфографика

Методите за съхранение на данните може да се развиват от раждането на данните. Този блог обхваща развитието на съхранението на данни на базата на инфографика.

Функционалности на референтните архитектурни слоеве за големи данни

Функционалности на референтните архитектурни слоеве за големи данни

Прочетете блога, за да разберете различни слоеве в архитектурата на големи данни и техните функционалности по най-простия начин.

6 невероятни предимства от наличието на интелигентни домашни устройства в живота ни

6 невероятни предимства от наличието на интелигентни домашни устройства в живота ни

В този дигитално задвижван свят устройствата за интелигентен дом се превърнаха в решаваща част от живота. Ето няколко невероятни предимства на интелигентните домашни устройства за това как те правят живота ни струващ и по-опростен.

Актуализацията на допълнението на macOS Catalina 10.15.4 причинява повече проблеми, отколкото решава

Актуализацията на допълнението на macOS Catalina 10.15.4 причинява повече проблеми, отколкото решава

Наскоро Apple пусна macOS Catalina 10.15.4 допълнителна актуализация за отстраняване на проблеми, но изглежда, че актуализацията причинява повече проблеми, водещи до блокиране на mac машини. Прочетете тази статия, за да научите повече