Кластеризація RabbitMQ на CentOS 7

RabbitMQ — це брокер повідомлень з відкритим вихідним кодом, який підтримує AMQP, STOMP та інші комунікаційні технології. Він широко використовується в корпоративних програмах і сучасних архітектурах мікросервісів, де він діє як асинхронний канал повідомлень між різними мікросервісами. У цьому посібнику буде описано, як ви можете об’єднати RabbitMQ на кількох серверах CentOS 7, щоб сформувати посередник повідомлень високої доступності. У цьому підручнику один сервер буде діяти як головний сервер, а інші сервери працюватимуть як дзеркальні сервери, якщо головний сервер стане недоступним.

Передумови

• Принаймні два щойно розгорнуті та оновлені екземпляри CentOS 7 в одній підмережі з увімкненою приватною мережею
• RabbitMQ, встановлений з увімкненою консолью керування на кожному сервері (див. Як встановити RabbitMQ на CentOS 7 )
• Користувач без права адміністратора з правами sudo (див. Як використовувати Sudo на Debian, CentOS і FreeBSD )

Налаштуйте брандмауер

Брандмауер CentOS ( firewalld) за замовчуванням не дозволяє вхідний трафік. Щоб зробити RabbitMQ доступним для інших систем у мережі та за її межами, а також дозволити нам отримати доступ до консолі керування, ми повинні спочатку відкрити деякі порти.

Консоль керування веб-інтерфейсом RabbitMQ прослуховує порт за замовчуванням 15672. Ми хотіли б зробити консоль керування загальнодоступною, щоб ми могли отримати до неї доступ зі свого комп’ютера. Тому ми надамо інструкцію firewalldпостійно відкрити порт 15672у публічній зоні (яка є активною зоною за замовчуванням у екземплярі Vultr).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

Вузли RabbitMQ повинні мати можливість спілкуватися один з одним. Ми хотіли б відкрити необхідні порти, але тільки через внутрішню мережу. Ми не хочемо, щоб хтось в Інтернеті міг адмініструвати або безпосередньо зв’язуватися з нашими серверами. Наступні команди припускають, що наші сервери знаходяться в 192.168.0.100/24підмережі.

Перша служба — це служба epmdоднорангового виявлення, яка за замовчуванням прослуховує порт 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Для зв’язку між вузлами та CLI RabbitMQ повинен мати можливість спілкуватися через порт 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

Інструменти CLI обмінюються даними через діапазон портів 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Якщо вашим програмам потрібен протокол AMQP, вам також потрібно буде відкрити порти 5671та 5672. Якщо вам потрібно мати можливість спілкуватися через інший протокол, ви можете знайти необхідну інформацію про мережеві вимоги RabbitMQ в офіційній документації RabbitMQ .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Тепер, коли firewalldконфігурація налаштована, нам потрібно дати йому інструкцію перезавантажити конфігурацію.

sudo firewall-cmd --reload

Повторіть кроки з цього розділу на всіх серверах.

Встановити rabbitmqadmin

Плагін керування постачається з інструментом Python, rabbitmqadminякий можна легко встановити в системі після ввімкнення плагіна керування.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Налаштуйте DNS

Ви повинні використовувати імена хостів сервера, щоб ідентифікувати сервери під час кластеризації. За замовчуванням серверам не призначено DNS-запис, і з’єднання не вийде. Щоб швидко подолати це, додайте головне та дзеркальне ім’я хоста до /etc/hostsфайлу за допомогою свого улюбленого редактора.

Наприклад, файл hosts вашого майстра може виглядати так. Зверніть увагу на два останні записи, які дозволяють серверам ідентифікувати один одного за іменем хоста. Обов’язково змініть IP-адреси на власні.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Сгрупуйте вузли

Обов’язковою умовою імпорту для того, щоб вузли могли приєднуватися один до одного, є ідентичні файли cookie Erlang для всіх вузлів. За замовчуванням кожному вузлу буде призначено унікальний файл cookie Erlang, тому ви повинні повторно налаштувати його на всіх вузлах.

Наступна команда встановить файл cookie Erlang на " WE<3COOKIES", але ви можете змінити це на свій смак. Зробіть це на всіх серверах.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Перезапустіть RabbitMQ на всіх серверах, щоб переконатися, що файл cookie Erlang належним чином перезавантажено.

sudo systemctl restart rabbitmq-server.service

Виконайте наведені нижче команди на всіх серверах, крім головного. Це дозволить вузлам приєднатися до головного сервера і сформувати кластер.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Переконайтеся, що вузли приєдналися до кластера, виконавши таку команду.

sudo rabbitmqctl cluster_status

Всі ваші вузли будуть відображатися в nodesі running_nodesрозподіл продукції. Відтепер вам більше не потрібно повторювати кроки на кожному сервері, конфігурація автоматично відображатиметься на інших вузлах.

Створіть політику високої доступності

Тепер, коли у нас є кластер вузлів RabbitMQ, ми можемо використовувати це для створення черг із високою доступністю та обміну, налаштувавши нову політику. Цю політику можна додати через консоль керування RabbitMQ або за допомогою інтерфейсу командного рядка.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Наступний список пояснює, що означає кожна частина команди.

• -p "/": Використовуйте цю політику на "/"vhost (за замовчуванням після встановлення)
• --priority 1: порядок застосування політик
• --apply-to "all": Може бути "queues", "exchanges"або"all"
• ha: Назва, яку ми даємо нашій політиці
• ".*": регулярний вираз, який використовується, щоб вирішити, до яких черг або обмінів застосовується ця політика. ".*"буде відповідати будь-чому
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': JSON-подання політики. У цьому документі описано, що ми хочемо - рівно 2 вузли, на яких дані автоматично синхронізуються

Коротше кажучи, ця політика гарантує, що ми завжди матимемо 2 копії даних у черзі або обміні, якщо у нас є принаймні 2 вузли. Якщо у вас більше вузлів, ви можете збільшити значення ha-params. Рекомендується мати кворум ( N/2 + 1) вузлів. Наявність більшої кількості копій даних призведе до більшого використання диска, вводу-виводу та мережі, що може призвести до погіршення продуктивності.

Якщо ви хочете дзеркально відобразити дані на всіх вузлах кластера, ви можете використовувати наступний документ JSON.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Якщо ви хочете дзеркально відобразити дані лише на певні вузли (наприклад: node-1і node-2), ви можете використовувати наступне.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Ви можете змінити регулярний вираз, щоб призначити різні політики для різних черг. Скажімо, у нас є такі три вузли:

• кролик@майстер
• rabbit@client-ha
• кролик@продукт-га

Потім ми можемо створити дві політики, які призведуть до того, що черги з іменами, що починаються з «клієнт», будуть дзеркальними для rabbit@client-haвузла, а всі черги, які мають назву, що починається з «продукту», відображатимуться на rabbit@product-haвузол.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Тут невелике зауваження: ексклюзивні черги ніколи не відображаються і не залишаються постійними в RabbitMQ, навіть якщо ця політика відповідає таким чергам. Ексклюзивні черги автоматично знищуються, як тільки клієнт відключається, і, таким чином, реплікувати їх на інший сервер не має користі. Якщо сервер вийшов з ладу, клієнт відключився від нього, і черга була б автоматично знищена. Дзеркальні екземпляри також будуть знищені.

Тестування налаштування

Щоб перевірити кластерне налаштування, ми можемо створити нову чергу за допомогою інтерфейсу командного рядка через консоль керування.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

Це створить міцну чергу на типовому /vhost з іменем my-ha-queue.

Виконайте таку команду та перевірте у виводі, що черзі призначено нашу політику 'ha' і має pid на головному та дзеркальному вузлі.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Тепер ми можемо опублікувати повідомлення в черзі з головного вузла і зупинити RabbitMQ на головному вузлі.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Тепер поверніть його, підключивши до дзеркального вузла.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Нарешті, ми можемо перезапустити наш головний вузол.

sudo systemctl start rabbitmq-server.service

Видалити гостя

Як згадувалося раніше, RabbitMQ автоматично створює гостя з паролем гостя за замовчуванням. Було б поганою практикою залишити цього користувача за замовчуванням у загальнодоступній системі.

sudo rabbitmqctl delete_user guest