Klastrovanie RabbitMQ na CentOS 7

RabbitMQ je sprostredkovateľ správ s otvoreným zdrojom, ktorý podporuje AMQP, STOMP a ďalšie komunikačné technológie. Je široko používaný v podnikových aplikáciách a moderných mikroslužbách, kde funguje ako asynchrónny kanál správ medzi rôznymi mikroslužbami. Táto príručka popisuje, ako môžete klastrovať RabbitMQ na viacerých serveroch CentOS 7, aby ste vytvorili sprostredkovateľa správ s vysokou dostupnosťou. V tomto návode bude jeden server fungovať ako hlavný server a ostatné servery budú fungovať ako zrkadlové servery v prípade, že hlavný server nebude dostupný.

Predpoklady

• Aspoň dve čerstvo nasadené a aktualizované inštancie CentOS 7 v rovnakej podsieti s povolenou privátnou sieťou
• RabbitMQ nainštalovaný s povolenou riadiacou konzolou na každom serveri (pozri Ako nainštalovať RabbitMQ na CentOS 7 )
• Používateľ, ktorý nie je správcom, s právami sudo (pozrite si časť Ako používať Sudo v systémoch Debian, CentOS a FreeBSD )

Nakonfigurujte bránu firewall

CentOS firewall, ( firewalld), štandardne nepovoľuje žiadnu prichádzajúcu komunikáciu. Aby sme sprístupnili RabbitMQ pre iné systémy v sieti aj mimo nej a umožnili nám prístup k riadiacej konzole, musíme najprv otvoriť niektoré porty.

Konzola na správu webového rozhrania RabbitMQ štandardne počúva na porte 15672. Radi by sme spravovaciu konzolu sprístupnili verejnosti, aby sme k nej mali prístup z nášho počítača. Dáme preto pokyn firewalldna trvalé otvorenie portu 15672vo verejnej zóne (čo je predvolená a aktívna zóna na inštancii Vultr).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

Uzly RabbitMQ musia byť schopné navzájom komunikovať. Radi by sme otvorili potrebné porty, ale len cez internú sieť. Nechceme, aby ktokoľvek na internete mohol spravovať alebo priamo kontaktovať naše servery. Nasledujúce príkazy predpokladajú, že naše servery sú v 192.168.0.100/24podsieti.

Prvou službou je epmdpeer discovery služba, ktorá štandardne počúva na porte 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Pre komunikáciu internode a CLI musí byť RabbitMQ schopný komunikovať cez port 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

Nástroje CLI komunikujú cez rozsah portov 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Ak vaše aplikácie potrebujú protokol AMQP, budete tiež musieť otvoriť porty 5671a 5672. Ak potrebujete byť schopní komunikovať cez iný protokol, potrebné informácie o sieťových požiadavkách RabbitMQ nájdete v oficiálnej dokumentácii RabbitMQ .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Teraz firewalldje to nakonfigurované, musíme mu dať pokyn, aby znova načítal konfiguráciu.

sudo firewall-cmd --reload

Opakujte kroky z tejto časti na všetkých serveroch.

Inštalácia rabbitmqadmin

Doplnok na správu sa dodáva s nástrojom Python, rabbitmqadminktorý sa dá ľahko nainštalovať do systému, keď je povolený doplnok na správu.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Nakonfigurujte DNS

Na identifikáciu serverov pri klastrovaní musíte použiť názvy hostiteľov servera. V predvolenom nastavení nemajú servery priradený žiadny záznam DNS a spojenie zlyhá. Ak to chcete rýchlo prekonať, pridajte do /etc/hostssúboru názov hlavného a zrkadlového hostiteľa pomocou svojho obľúbeného editora.

Napríklad súbor hostiteľov vášho mastera môže vyzerať takto. Všimnite si posledné dva záznamy, ktoré umožňujú serverom navzájom sa identifikovať podľa názvu hostiteľa. Nezabudnite zmeniť adresy IP na svoje vlastné.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Zhlukujte uzly

Predpokladom importu, aby sa uzly mohli navzájom spojiť, je, že súbor cookie Erlang všetkých uzlov je identický. V predvolenom nastavení bude každému uzlu priradený jedinečný súbor cookie Erlang, takže ho musíte prekonfigurovať na všetkých uzloch.

Nasledujúci príkaz nastaví súbor cookie Erlang na " WE<3COOKIES", ale môžete to zmeniť podľa svojich predstáv. Urobte to na všetkých serveroch.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Reštartujte RabbitMQ na všetkých serveroch, aby ste sa uistili, že súbor cookie Erlang je správne znovu načítaný.

sudo systemctl restart rabbitmq-server.service

Vykonajte nasledujúce príkazy na všetkých serveroch okrem hlavného servera. To umožní uzlom pripojiť sa k hlavnému serveru a vytvoriť klaster.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Skontrolujte, či sa uzly pripojili ku klastru spustením nasledujúceho príkazu.

sudo rabbitmqctl cluster_status

Všetky vaše uzlov sa objaví v nodesa running_nodesčasť výstupu. Odteraz už nemusíte opakovať kroky na každom serveri, konfigurácia sa automaticky premietne do ostatných uzlov.

Vytvorte politiku vysokej dostupnosti

Teraz, keď máme klaster uzlov RabbitMQ, môžeme to použiť na vytváranie frontov a výmen s vysokou dostupnosťou nastavením novej politiky. Túto politiku je možné pridať prostredníctvom riadiacej konzoly RabbitMQ alebo pomocou rozhrania príkazového riadka.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Nasledujúci zoznam vysvetlí, čo znamenajú jednotlivé časti príkazu.

• -p "/": Použite túto zásadu na "/"vhost (predvolená hodnota po inštalácii)
• --priority 1: Poradie, v ktorom sa majú uplatňovať zásady
• --apply-to "all": Môže byť "queues", "exchanges"alebo"all"
• ha: Názov, ktorý dávame našej politike
• ".*": Regulárny výraz, ktorý sa používa na rozhodovanie o tom, na ktoré fronty alebo burzy sa táto politika použije. ".*"bude zodpovedať čomukoľvek
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': Reprezentácia politiky vo formáte JSON. Tento dokument popisuje, že chceme – presne 2 uzly, na ktorých sa dáta automaticky synchronizujú

Stručne povedané, táto politika zaistí, že budeme mať vždy 2 kópie údajov vo fronte alebo výmene, pokiaľ budeme mať v prevádzke aspoň 2 uzly. Ak máte viac uzlov, môžete zvýšiť hodnotu ha-params. Odporúča sa kvórum ( N/2 + 1), uzlov. Viac kópií údajov by malo za následok vyššie využitie disku, I/O a siete, čo by mohlo viesť k zníženiu výkonu.

Ak by ste chceli zrkadliť údaje do všetkých uzlov v klastri, môžete použiť nasledujúci dokument JSON.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Ak by ste chceli zrkadliť údaje iba do konkrétnych uzlov (napríklad: node-1a node-2), môžete použiť nasledujúce.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Regulárny výraz môžete zmeniť a priradiť rôzne politiky rôznym frontom. Povedzme, že máme nasledujúce tri uzly:

• králik@majster
• králik@klient-ha
• králik@produkt-ha

Potom môžeme vytvoriť dve politiky, ktorých výsledkom budú fronty s názvom, ktorý začína na „klient“, ktorý sa má zrkadliť do rabbit@client-hauzla, a všetky fronty, ktoré majú názov začínajúci na „produkt“, budú zrkadlené do rabbit@product-hauzla.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Tu je malá poznámka: exkluzívne fronty nie sú v RabbitMQ nikdy zrkadlené ani trvalé, aj keď táto politika zodpovedá takýmto frontom. Exkluzívne fronty sa automaticky zničia, keď sa klient odpojí, a preto by bolo zbytočné ho replikovať na iný server. Ak by server zlyhal, klient by sa od neho odpojil a fronta by sa automaticky zničila. Zrkadlové inštancie by boli tiež zničené.

Testovanie nastavenia

Aby sme otestovali klastrové nastavenie, môžeme vytvoriť nový front pomocou rozhrania príkazového riadka prostredníctvom riadiacej konzoly.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

Tým sa vytvorí trvalý front na predvolenom /vhoste s názvom my-ha-queue.

Spustite nasledujúci príkaz a na výstupe overte, či má front priradenú našu politiku 'ha' a má pid na hlavnom a zrkadlovom uzle.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Teraz môžeme publikovať správu do frontu z hlavného uzla a zastaviť RabbitMQ na hlavnom uzle.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Teraz ho získajte späť pripojením k zrkadlovému uzlu.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Nakoniec môžeme reštartovať náš hlavný uzol.

sudo systemctl start rabbitmq-server.service

Odstrániť hosťujúceho používateľa

Ako už bolo spomenuté, RabbitMQ automaticky vytvorí hosťa s predvoleným heslom hosťa. Bolo by zlou praxou ponechať tohto predvoleného používateľa na verejne prístupnom systéme.

sudo rabbitmqctl delete_user guest