Združevanje RabbitMQ v CentOS 7

RabbitMQ je odprtokodni posrednik za sporočila, ki podpira AMQP, STOMP in druge komunikacijske tehnologije. Široko se uporablja v podjetniških aplikacijah in sodobnih arhitekturah mikro storitev, kjer deluje kot asinhroni kanal sporočil med različnimi mikro storitvami. Ta priročnik bo opisal, kako lahko združite RabbitMQ v več strežnikov CentOS 7, da ustvarite posrednika sporočil z visoko razpoložljivostjo. V tej vadnici bo en strežnik deloval kot glavni strežnik, drugi strežniki pa bodo delovali kot zrcalni strežniki, če glavni strežnik ne bo na voljo.

Predpogoji

• Vsaj dva sveže nameščena in posodobljena primerka CentOS 7 v istem podomrežju z omogočenim zasebnim omrežjem
• RabbitMQ nameščen z omogočeno upravljalno konzolo na vsakem strežniku (glejte Kako namestiti RabbitMQ na CentOS 7 )
• Uporabnik brez skrbništva s pravicami sudo (glejte Kako uporabljati Sudo v Debianu, CentOS in FreeBSD )

Konfigurirajte požarni zid

Požarni zid CentOS, ( firewalld), privzeto ne dovoljuje nobenega dohodnega prometa. Da bo RabbitMQ na voljo za druge sisteme v omrežju in zunaj njega ter da nam omogočimo dostop do upravljalne konzole, moramo najprej odpreti nekatera vrata.

Upravljalna konzola spletnega vmesnika RabbitMQ privzeto posluša vrata 15672. Upravljalno konzolo želimo narediti javno dostopno, tako da lahko do nje dostopamo iz našega računalnika. Zato bomo naročili firewalldtrajno odprtje vrat 15672v javni coni (ki je privzeto in aktivno območje na primerku Vultr).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

Vozlišča RabbitMQ morajo biti sposobna komunicirati med seboj. Želeli bi odpreti potrebna vrata, vendar le prek notranjega omrežja. Ne želimo, da bi lahko kdor koli na internetu upravljal naše strežnike ali jih neposredno kontaktiral. Naslednji ukazi predvidevajo, da so naši strežniki v 192.168.0.100/24podomrežju.

Prva storitev je storitev epmdodkrivanja vrstnikov, ki privzeto posluša na vratih 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Za komunikacijo med vozlišči in CLI mora biti RabbitMQ sposoben komunicirati prek vrat 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

Orodja CLI komunicirajo prek obsega vrat 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Če vaše aplikacije potrebujejo protokol AMQP, boste morali odpreti tudi vrata 5671in 5672. Če morate imeti možnost komuniciranja prek drugega protokola, lahko najdete potrebne informacije o omrežnih zahtevah RabbitMQ v uradni dokumentaciji RabbitMQ .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Zdaj, ko firewalldje konfiguriran, mu moramo naročiti, naj znova naloži konfiguracijo.

sudo firewall-cmd --reload

Ponovite korake iz tega razdelka na vseh strežnikih.

Namestite rabbitmqadmin

Vtičnik za upravljanje je opremljen z orodjem Python, rabbitmqadminki ga je mogoče enostavno namestiti v sistem, ko je vtičnik za upravljanje omogočen.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Konfigurirajte DNS

Za identifikacijo strežnikov pri združevanju v gruče morate uporabiti imena gostiteljev strežnika. Strežnikom privzeto ni dodeljen zapis DNS in povezava ne bo uspela. Če želite to hitro premagati, dodajte glavno in zrcalno ime gostitelja v /etc/hostsdatoteko s svojim najljubšim urejevalnikom.

Na primer, datoteka gostiteljev vašega mojstra je lahko videti takole. Bodite pozorni na zadnja dva zapisa, ki strežnikom omogočata, da se med seboj identificirajo po imenu gostitelja. Ne pozabite spremeniti naslova IP v svoje.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Združite vozlišča

Predpogoj za uvoz, ki omogoča povezovanje vozlišč med seboj, je, da so piškotki Erlang vseh vozlišč enaki. Privzeto bo vsakemu vozlišču dodeljen edinstven piškotek Erlang, zato ga morate znova konfigurirati na vseh vozliščih.

Naslednji ukaz bo piškotek Erlang nastavil na " WE<3COOKIES", vendar ga lahko spremenite po svojih željah. To naredite na vseh strežnikih.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Znova zaženite RabbitMQ na vseh strežnikih, da se prepričate, da je piškotek Erlang pravilno ponovno naložen.

sudo systemctl restart rabbitmq-server.service

Izvedite naslednje ukaze na vseh strežnikih razen na glavnem strežniku. To bo omogočilo, da se vozlišča pridružijo glavnemu strežniku in tvorijo gručo.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Preverite, ali so se vozlišča pridružila gruči, tako da zaženete naslednji ukaz.

sudo rabbitmqctl cluster_status

Vsa vaša vozlišča se bodo pojavila v nodesin running_nodesrazdelku izhoda. Od zdaj naprej vam ni več treba ponavljati korakov na vsakem strežniku, konfiguracija bo samodejno zrcaljena na druga vozlišča.

Ustvarite politiko visoke razpoložljivosti

Zdaj, ko imamo gručo vozlišč RabbitMQ, lahko to uporabimo za izdelavo čakalnih vrst in izmenjav z visoko razpoložljivostjo z nastavitvijo novega pravilnika. Ta pravilnik lahko dodate prek konzole za upravljanje RabbitMQ ali z vmesnikom ukazne vrstice.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Naslednji seznam bo pojasnil, kaj pomeni vsak del ukaza.

• -p "/": Uporabite ta pravilnik na "/"vhostu (privzeto po namestitvi)
• --priority 1: vrstni red, v katerem se uporabljajo pravilniki
• --apply-to "all": Lahko je "queues", "exchanges"oz"all"
• ha: Ime, ki ga damo naši politiki
• ".*": Regularni izraz, ki se uporablja za odločanje, za katere čakalne vrste ali izmenjave se uporablja ta pravilnik. ".*"bo ustrezala vsem
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': JSON predstavitev pravilnika. Ta dokument opisuje, da želimo - točno 2 vozlišči, na katerih se podatki samodejno sinhronizirajo

Skratka, ta politika bo zagotovila, da bomo vedno imeli 2 kopiji podatkov v čakalni vrsti ali izmenjavi, dokler imamo vsaj 2 vozlišči, ki delujeta. Če imate več vozlišč, lahko povečate vrednost ha-params. Priporočljiv je sklepčnost ( N/2 + 1) vozlišč. Če imate več kopij vaših podatkov, bi to povzročilo večjo porabo diska, v/iz in omrežja, kar bi lahko povzročilo poslabšano zmogljivost.

Če želite podatke zrcaliti na vsa vozlišča v gruči, lahko uporabite naslednji dokument JSON.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Če želite podatke zrcaliti samo na določena vozlišča (na primer: node-1in node-2), lahko uporabite naslednje.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Regularni izraz lahko spremenite tako, da različnim čakalnim vrstam dodelite različne pravilnike. Recimo, da imamo naslednja tri vozlišča:

• zajec@master
• zajec@klient-ha
• zajec@izdelek-ha

Nato lahko ustvarimo dva pravilnika, ki bosta povzročila, da bodo čakalne vrste imele ime, ki se začne z "client", da se zrcalijo v rabbit@client-havozlišče in da se vse čakalne vrste, ki imajo ime, ki se začne z "product", zrcalijo v rabbit@product-havozlišče.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Majhna pripomba: ekskluzivne čakalne vrste niso nikoli zrcaljene ali trajne v RabbitMQ, tudi če bi ta pravilnik ustrezal takšnim čakalnim vrstam. Ekskluzivne čakalne vrste se samodejno uničijo, ko odjemalec prekine povezavo, zato ga ne bi bilo koristno podvajati na drug strežnik. Če bi strežnik odpovedal, bi odjemalec prekinil povezavo z njim in čakalna vrsta bi bila samodejno uničena. Uničeni bi bili tudi zrcaljeni primerki.

Testiranje nastavitve

Da bi preizkusili gručasto nastavitev, lahko ustvarimo novo čakalno vrsto z vmesnikom ukazne vrstice prek upravljalne konzole.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

To bo ustvarilo trajno čakalno vrsto na privzetem /vhostu z imenom my-ha-queue.

Zaženite naslednji ukaz in v izhodu preverite, ali ima čakalna vrsta dodeljeno našo politiko 'ha' in ima pid-je na glavnem in zrcalnem vozlišču.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Zdaj lahko objavimo sporočilo v čakalni vrsti iz glavnega vozlišča in zaustavimo RabbitMQ na glavnem vozlišču.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Zdaj ga vrnite tako, da se povežete z zrcalnim vozliščem.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Končno lahko znova zaženemo naše glavno vozlišče.

sudo systemctl start rabbitmq-server.service

Izbriši gostujočega uporabnika

Kot smo že omenili, RabbitMQ samodejno ustvari gostujočega uporabnika s privzetim geslom za goste. Slaba praksa bi bila, če bi tega privzetega uporabnika pustili na javno izpostavljenem sistemu.

sudo rabbitmqctl delete_user guest