Як встановити Apache Kafka на CentOS 7

Apache Kafka — це масштабована і високопродуктивна система обміну повідомленнями, яка здатна ефективно обробляти величезну кількість даних.

Ви можете розгорнути Kafka на одному сервері або створити розподілений кластер Kafka для підвищення продуктивності. Для початку ця стаття пояснює, як встановити Apache Kafka на один екземпляр сервера Vultr CentOS 7.

Передумови:

Перш ніж рухатися далі, ви повинні:

  • Розгорніть екземпляр сервера Vultr CentOS 7. Залежно від ваших потреб, можливо, знадобиться збільшити доступну пам’ять.
  • Використовуйте користувача sudo для входу зі свого терміналу SSH.

Крок 1: Оновіть систему CentOS 7

Використовуйте команду нижче, щоб оновити вашу систему до останнього стабільного стану:

sudo yum update -y && sudo reboot

Після завершення перезавантаження скористайтеся тим же користувачем sudo, щоб увійти знову.

Крок 2: Встановіть OpenJDK Runtime

Вам потрібно налаштувати віртуальну машину Java у вашій системі, перш ніж ви зможете правильно запустити Apache Kafka. Тут ви можете встановити OpenJDK Runtime Environment 1.8.0 за допомогою YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Підтвердьте свою установку за допомогою:

java -version

Вихід повинен нагадувати:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Вам також потрібно налаштувати змінні середовища "JAVA_HOME" і "JRE_HOME":

sudo vi /etc/profile

Додайте такі рядки до вихідного вмісту файлу:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Збережіть і вийдіть:

:wq

Перезавантажте профіль, щоб ввести зміни в дію:

source /etc/profile

Крок 3: Завантажте Apache Kafka

Завантажте останню стабільну версію Apache Kafka з офіційного сайту. На момент написання статті це 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Розпакуйте архів у бажане місце, наприклад /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Крок 4: Запустіть і перевірте Apache Kafka

На даний момент Apache Kafka доступний у вашій системі. Давайте проведемо тест-драйв.

4.1: Зайти в каталог Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Запустіть сервер Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Змініть конфігурацію вашого сервера Kafka

 vi bin/kafka-server-start.sh

Відрегулюйте використання пам’яті відповідно до ваших системних параметрів. Наприклад, якщо ви використовуєте екземпляр сервера Vultr з 768 МБ пам’яті в тестовому середовищі, вам потрібно знайти такий рядок:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Замініть його на:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Зберегти звільнення:

:wq

4.4: Запустіть сервер Kafka

bin/kafka-server-start.sh config/server.properties

Якщо все пройшло успішно, ви побачите кілька повідомлень про статус сервера Kafka, і останнє буде читати:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Це означає, що ви запустили сервер Kafka.

4.5: Створіть тему "тест" у новому з'єднанні SSH

Відкрийте нове з’єднання SSH, скористайтеся такими командами, щоб створити тему «тест»:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Ви можете переглянути свої теми за допомогою такої команди:

bin/kafka-topics.sh --list --zookeeper localhost:2181

У нашому випадку вихід буде виглядати так:

test

4.6: Створюйте повідомлення за допомогою теми "тест"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Використовуючи наведену вище команду, ви можете ввести будь-яку кількість повідомлень за бажанням, наприклад:

Welcome aboard!
Bonjour!

Якщо ви отримуєте помилку, подібну до помилки під "WARN Error while fetching metadata with correlation id"час введення повідомлення, вам потрібно оновити server.propertiesфайл, указавши таку інформацію:

port = 9092
advertised.host.name = localhost 

4.7: Відображення повідомлень

Відкрийте третє з’єднання SSH, а потім виконайте такі команди:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Та-да! Повідомлення, які ви створили раніше, відображатимуться в третьому з’єднанні SSH. Звичайно, якщо ви зараз введете більше повідомлень із другого SSH-з’єднання, ви відразу побачите їх у третьому SSH-з’єднанні.

Нарешті, ви можете натиснути Ctrl+C на кожному з’єднанні SSH, щоб зупинити ці сценарії.

Це воно. Ви можете дізнатися більше про Apache Kafka на офіційному сайті. Веселіться!


Встановіть Plesk на CentOS 7

Встановіть Plesk на CentOS 7

Використання іншої системи? Plesk — це власна панель керування веб-хостом, яка дозволяє користувачам адмініструвати свої персональні та/або клієнтські веб-сайти, бази даних

Як встановити Squid Proxy на CentOS

Як встановити Squid Proxy на CentOS

Squid — популярна безкоштовна програма для Linux, яка дозволяє створювати веб-проксі для переадресації. У цьому посібнику ви дізнаєтеся, як встановити Squid на CentOS, щоб перетворити вас

Як встановити Lighttpd (LLMP Stack) на CentOS 6

Як встановити Lighttpd (LLMP Stack) на CentOS 6

Вступ Lighttpd — це форк Apache, який має набагато меншу ресурсомісткість. Він легкий, звідси його назва, і досить простий у використанні. Встановити

Налаштування статичної мережі та IPv6 на CentOS 7

Налаштування статичної мережі та IPv6 на CentOS 7

VULTR нещодавно вніс зміни на свою сторону, і тепер усе має працювати нормально з коробки з увімкненим NetworkManager. Якщо ви бажаєте вимкнути

Змінення Icinga2 для використання моделі Master/Client на CentOS 6 або CentOS 7

Змінення Icinga2 для використання моделі Master/Client на CentOS 6 або CentOS 7

Icinga2 — це потужна система моніторингу, і при використанні в моделі «майстер-клієнт» вона може замінити потребу в перевірках моніторингу на основі NRPE. Майстер-клієнт

Як встановити Apache Cassandra 3.11.x на CentOS 7

Як встановити Apache Cassandra 3.11.x на CentOS 7

Використання іншої системи? Apache Cassandra — це безкоштовна система керування базами даних NoSQL з відкритим вихідним кодом, яка розроблена для забезпечення масштабованості, високої

Як встановити Microweber на CentOS 7

Як встановити Microweber на CentOS 7

Використання іншої системи? Microweber — це CMS та інтернет-магазин із відкритим вихідним кодом. Вихідний код Microweber розміщено на GitHub. Цей посібник покаже вам

Як встановити Vanilla Forum на CentOS 7

Як встановити Vanilla Forum на CentOS 7

Використання іншої системи? Vanilla forum — це програма з відкритим вихідним кодом, написана на PHP. Це повністю настроюваний, простий у використанні та підтримує зовнішній вигляд

Як встановити Mattermost 4.1 на CentOS 7

Як встановити Mattermost 4.1 на CentOS 7

Використання іншої системи? Mattermost — це автономна альтернатива службі обміну повідомленнями Slack SAAS з відкритим кодом. Іншими словами, з Mattermost ви бл

Lets Encrypt на Plesk

Lets Encrypt на Plesk

Панель керування Plesk має дуже гарну інтеграцію для Lets Encrypt. Lets Encrypt є одним із єдиних постачальників SSL, які надають сертифікати повністю

Дозволяє шифрувати на cPanel

Дозволяє шифрувати на cPanel

Lets Encrypt — це центр сертифікації, який надає безкоштовні сертифікати SSL. cPanel створив чітку інтеграцію, щоб ви і ваш клієнт

Як встановити Concrete5 на CentOS 7

Як встановити Concrete5 на CentOS 7

Використання іншої системи? Concrete5 — це CMS з відкритим вихідним кодом, яка пропонує багато відмінних і корисних функцій, які допомагають редакторам легко створювати вміст.

Як встановити Review Board на CentOS 7

Як встановити Review Board на CentOS 7

Використання іншої системи? Review Board — це безкоштовний інструмент з відкритим кодом для перегляду вихідного коду, документації, зображень та багато іншого. Це веб-програмне забезпечення

Налаштуйте автентифікацію HTTP за допомогою Nginx на CentOS 7

Налаштуйте автентифікацію HTTP за допомогою Nginx на CentOS 7

У цьому посібнику ви дізнаєтеся, як налаштувати автентифікацію HTTP для веб-сервера Nginx, що працює на CentOS 7. Вимоги Щоб почати, вам знадобиться

Як встановити GoAccess на CentOS 7

Як встановити GoAccess на CentOS 7

Використання іншої системи? GoAccess — це аналізатор веб-журналів з відкритим вихідним кодом. Ви можете використовувати його для аналізу журналів у режимі реального часу в терміналі або

Як встановити YOURLS на CentOS 7

Як встановити YOURLS на CentOS 7

YOURLS (Your Own URL Shortener) — програма для скорочення URL-адрес і аналізу даних із відкритим вихідним кодом. У цій статті ми розглянемо процес встановлення

Як встановити та налаштувати ArangoDB на CentOS 7

Як встановити та налаштувати ArangoDB на CentOS 7

Використання іншої системи? Вступ ArangoDB — це відкрита база даних NoSQL з гнучкою моделлю даних для документів, графіків і ключів-значень. це є

Використання Etckeeper для контролю версій /etc

Використання Etckeeper для контролю версій /etc

Вступ Каталог /etc/ відіграє важливу роль у функціонуванні системи Linux. Причина цього в тому, що майже кожна конфігурація системи

Чому ви повинні використовувати SSHFS? Як підключити віддалену файлову систему з SSHFS на CentOS 6

Чому ви повинні використовувати SSHFS? Як підключити віддалену файлову систему з SSHFS на CentOS 6

Багато системних адміністраторів керують великою кількістю серверів. Якщо потрібно отримати доступ до файлів на різних серверах, увійти на кожен окремо бл

Налаштування сервера Half Life 2 на CentOS 6

Налаштування сервера Half Life 2 на CentOS 6

У цьому посібнику буде описано процес встановлення ігрового сервера Half Life 2 на систему CentOS 6. Крок 1: Встановлення необхідних умов Щоб налаштувати ou

Повстання машин: застосування ШІ в реальному світі

Повстання машин: застосування ШІ в реальному світі

Штучний інтелект не в майбутньому, він тут прямо в сьогоденні У цьому блозі Прочитайте, як програми штучного інтелекту вплинули на різні сектори.

DDOS-атаки: короткий огляд

DDOS-атаки: короткий огляд

Ви також стали жертвою DDOS-атак і спантеличені методами запобігання? Прочитайте цю статтю, щоб вирішити свої запитання.

Ви коли-небудь замислювалися, як хакери заробляють гроші?

Ви коли-небудь замислювалися, як хакери заробляють гроші?

Можливо, ви чули, що хакери заробляють багато грошей, але чи замислювалися ви коли-небудь, як вони заробляють такі гроші? давайте обговоримо.

Революційні винаходи від Google, які полегшать ваше життя.

Революційні винаходи від Google, які полегшать ваше життя.

Ви хочете побачити революційні винаходи Google і як ці винаходи змінили життя кожної людини сьогодні? Тоді читайте в блозі, щоб побачити винаходи Google.

Friday Essential: Що сталося з автомобілями, керованими штучним інтелектом?

Friday Essential: Що сталося з автомобілями, керованими штучним інтелектом?

Концепція самокерованих автомобілів, щоб вирушати в дороги за допомогою штучного інтелекту, є мрією, яку ми давно мріємо. Але, незважаючи на кілька обіцянок, їх ніде не видно. Прочитайте цей блог, щоб дізнатися більше…

Технологічна сингулярність: віддалене майбутнє людської цивілізації?

Технологічна сингулярність: віддалене майбутнє людської цивілізації?

Оскільки наука розвивається швидкими темпами, бере на себе багато наших зусиль, ризики піддати себе незрозумілій Сингулярності також зростає. Читайте, що може означати для нас сингулярність.

Еволюція зберігання даних – інфографіка

Еволюція зберігання даних – інфографіка

Методи зберігання даних можуть розвиватися з моменту народження Даних. Цей блог висвітлює еволюцію зберігання даних на основі інфографіки.

Функціональні можливості шарів еталонної архітектури великих даних

Функціональні можливості шарів еталонної архітектури великих даних

Прочитайте блог, щоб дізнатися про різні шари архітектури великих даних та їх функціональні можливості найпростішим способом.

6 дивовижних переваг використання пристроїв розумного дому в нашому житті

6 дивовижних переваг використання пристроїв розумного дому в нашому житті

У цьому цифровому світі пристрої розумного дому стали важливою частиною життя. Ось кілька дивовижних переваг пристроїв розумного дому щодо того, як вони роблять наше життя гідним життя та спрощують його.

Оновлення доповнення macOS Catalina 10.15.4 спричиняє більше проблем, ніж вирішує

Оновлення доповнення macOS Catalina 10.15.4 спричиняє більше проблем, ніж вирішує

Нещодавно Apple випустила додаткове оновлення macOS Catalina 10.15.4, щоб виправити проблеми, але схоже, що оновлення викликає більше проблем, що призводять до блокування комп’ютерів Mac. Прочитайте цю статтю, щоб дізнатися більше