Grupiranje RabbitMQ na CentOS 7

RabbitMQ je posrednik poruka otvorenog koda koji podržava AMQP, STOMP i druge komunikacijske tehnologije. Široko se koristi u poslovnim aplikacijama i modernim arhitekturama mikro-usluga gdje djeluje kao asinkroni kanal za poruke između različitih mikro-usluga. Ovaj vodič će opisati kako možete grupirati RabbitMQ na više CentOS 7 poslužitelja kako biste formirali posrednika poruka visoke dostupnosti. U ovom vodiču, jedan poslužitelj će djelovati kao glavni poslužitelj, a drugi poslužitelji će djelovati kao zrcalni poslužitelji u slučaju da glavni poslužitelj postane nedostupan.

Preduvjeti

• Najmanje dvije svježe implementirane i ažurirane instance CentOS 7 u istoj podmreži s omogućenim privatnim umrežavanjem
• RabbitMQ instaliran s omogućenom upravljačkom konzolom na svakom poslužitelju (pogledajte Kako instalirati RabbitMQ na CentOS 7 )
• Korisnik koji nije administrator s sudo pravima (pogledajte kako koristiti Sudo na Debianu, CentOS-u i FreeBSD-u )

Konfigurirajte vatrozid

Vatrozid CentOS, ( firewalld), prema zadanim postavkama ne dopušta nikakav dolazni promet. Kako bismo RabbitMQ učinili dostupnim za druge sustave unutar i izvan mreže, te kako bismo nam omogućili pristup upravljačkoj konzoli, prvo moramo otvoriti neke portove.

Konzola za upravljanje web sučeljem RabbitMQ-a prema zadanim postavkama sluša port 15672. Željeli bismo da upravljačku konzolu učinimo javno dostupnom kako bismo joj mogli pristupiti s našeg računala. Stoga ćemo uputiti firewalldtrajno otvaranje porta 15672u javnoj zoni (koja je zadana i aktivna zona na Vultr instanci).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

RabbitMQ čvorovi moraju moći međusobno komunicirati. Željeli bismo otvoriti potrebne portove, ali samo preko interne mreže. Ne želimo da itko na internetu može administrirati ili izravno kontaktirati naše poslužitelje. Sljedeće naredbe pretpostavljaju da su naši poslužitelji na 192.168.0.100/24podmreži.

Prva usluga je usluga epmdpeer discovery koja prema zadanim postavkama sluša port 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Za internodnu i CLI komunikaciju, RabbitMQ mora biti u mogućnosti komunicirati preko porta 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

CLI alati komuniciraju preko raspona portova 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Ako vaše aplikacije trebaju AMQP protokol, također ćete morati otvoriti portove 5671i 5672. Ako trebate biti u mogućnosti komunicirati putem drugog protokola, potrebne informacije o mrežnim zahtjevima RabbitMQ-a možete pronaći u službenoj RabbitMQ dokumentaciji .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Sada kada firewalldje konfigurirano, moramo ga uputiti da ponovno učita konfiguraciju.

sudo firewall-cmd --reload

Ponovite korake iz ovog odjeljka na svim poslužiteljima.

Instalirati rabbitmqadmin

Dodatak za upravljanje dolazi s Python alatom rabbitmqadminkoji se može jednostavno instalirati na sustav nakon što je dodatak za upravljanje omogućen.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Konfigurirajte DNS

Morate koristiti imena poslužitelja da biste identificirali poslužitelje prilikom grupiranja. Prema zadanim postavkama, poslužitelji nemaju dodijeljen DNS zapis i veza neće uspjeti. Da biste to brzo prevladali, dodajte glavno i zrcalno ime hosta u /etc/hostsdatoteku pomoću svog omiljenog uređivača.

Na primjer, datoteka hosts vašeg majstora može izgledati ovako. Obratite pažnju na posljednja dva zapisa, koji omogućuju poslužiteljima da se međusobno identificiraju po imenu hosta. Svakako promijenite IP adrese u svoju.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Grupirajte čvorove

Preduvjet za uvoz da se čvorovi međusobno pridruže je da su Erlang kolačići svih čvorova identični. Prema zadanim postavkama, svakom čvoru će biti dodijeljen jedinstveni Erlang kolačić, tako da ga morate ponovno konfigurirati na svim čvorovima.

Sljedeća naredba će Erlang kolačić postaviti na " WE<3COOKIES", ali slobodno to promijenite po svom ukusu. Učinite to na svim poslužiteljima.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Ponovno pokrenite RabbitMQ na svim poslužiteljima kako biste bili sigurni da je Erlang kolačić ispravno ponovno učitan.

sudo systemctl restart rabbitmq-server.service

Izvršite sljedeće naredbe na svim poslužiteljima osim na glavnom poslužitelju. To će omogućiti čvorovima da se pridruže glavnom poslužitelju i formiraju klaster.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Provjerite jesu li se čvorovi pridružili klasteru tako što ćete pokrenuti sljedeću naredbu.

sudo rabbitmqctl cluster_status

Svi vaši čvorova će se pojaviti u nodesi running_nodesdijelu izlaz. Od sada više ne morate ponavljati korake na svakom poslužitelju, konfiguracija će se automatski preslikavati na druge čvorove.

Stvorite politiku visoke dostupnosti

Sada kada imamo klaster RabbitMQ čvorova, možemo to koristiti za stvaranje redova čekanja visoke dostupnosti i razmjene postavljanjem nove politike. Ovo pravilo može se dodati putem konzole za upravljanje RabbitMQ ili korištenjem sučelja naredbenog retka.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Sljedeći popis će objasniti što znači svaki dio naredbe.

• -p "/": Koristite ovo pravilo na "/"vhostu (zadano nakon instalacije)
• --priority 1: Redoslijed primjene pravila
• --apply-to "all": Može biti "queues", "exchanges"ili"all"
• ha: Naziv koji dajemo našoj politici
• ".*": Regularni izraz koji se koristi za odlučivanje na koje se redove čekanja ili razmjene primjenjuje ovo pravilo. ".*"odgovarat će bilo čemu
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': JSON prikaz politike. Ovaj dokument opisuje da želimo - točno 2 čvora na kojima se podaci automatski sinkroniziraju

Ukratko, ova politika će osigurati da ćemo uvijek imati 2 kopije podataka u redu čekanja ili razmjeni sve dok imamo barem 2 čvora koja rade i rade. Ako imate više čvorova, možete povećati vrijednost za ha-params. N/2 + 1Savjetuje se kvorum ( ), čvorova. Posjedovanje više kopija vaših podataka rezultiralo bi većom upotrebom diska, ulaza/izlaza i mreže što bi moglo rezultirati smanjenom izvedbom.

Ako želite preslikati podatke na sve čvorove u klasteru, možete koristiti sljedeći JSON dokument.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Ako želite preslikati podatke samo na određene čvorove (na primjer: node-1i node-2), možete koristiti sljedeće.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Možete promijeniti regularni izraz da dodijelite različita pravila različitim redovima čekanja. Recimo da imamo sljedeća tri čvora:

• zec@majstor
• zec@klijent-ha
• zec@proizvod-ha

Tada možemo kreirati dvije politike koje će rezultirati da redovi imaju ime koje počinje s "klijent" da se zrcaljuje na rabbit@client-hačvor i da se svi redovi koji imaju naziv koji počinje s "proizvod" preslikavaju na rabbit@product-hačvor.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Ovdje je mala napomena: ekskluzivni redovi nikada nisu zrcaljeni ili trajni u RabbitMQ-u, čak i ako bi ovo pravilo odgovaralo takvim redovima. Ekskluzivni redovi se automatski uništavaju nakon što se klijent prekine i, kao takvi, ne bi bilo od koristi replicirati ih na drugi poslužitelj. Ako bi poslužitelj pokvario, klijent bi se prekinuo vezu s njim i red bi se automatski uništio. Zrcalne instance bi također bile uništene.

Testiranje postavke

Kako bismo testirali klasteriziranu postavku, možemo stvoriti novi red pomoću sučelja naredbenog retka kroz upravljačku konzolu.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

Ovo će stvoriti trajni red čekanja na zadanom /vhost-u s imenom my-ha-queue.

Pokrenite sljedeću naredbu i provjerite u izlazu da je redu dodijeljena naša politika 'ha' i da ima pid-ove na glavnom i na zrcalnom čvoru.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Sada možemo objaviti poruku u redu čekanja s glavnog čvora i zaustaviti RabbitMQ na glavnom čvoru.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Sada ga vratite spajanjem na zrcalni čvor.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Konačno, možemo ponovno pokrenuti naš glavni čvor.

sudo systemctl start rabbitmq-server.service

Izbrišite korisnika gosta

Kao što je već spomenuto, RabbitMQ automatski stvara gosta sa zadanom lozinkom gosta. Bila bi loša praksa ostaviti ovog zadanog korisnika na javno izloženom sustavu.

sudo rabbitmqctl delete_user guest