RabbitMQ:n klusterointi CentOS 7:ssä

RabbitMQ on avoimen lähdekoodin viestivälittäjä, joka tukee AMQP-, STOMP- ja muita viestintätekniikoita. Sitä käytetään laajalti yrityssovelluksissa ja moderneissa mikropalveluarkkitehtuureissa, joissa se toimii asynkronisena viestikanavana eri mikropalvelujen välillä. Tässä oppaassa kuvataan, kuinka voit ryhmitellä RabbitMQ:n useille CentOS 7 -palvelimille korkean käytettävyyden viestivälittäjän muodostamiseksi. Tässä opetusohjelmassa yksi palvelin toimii pääpalvelimena ja muut palvelimet peilipalvelimina, jos pääpalvelin ei ole käytettävissä.

Edellytykset

• Vähintään kaksi juuri käyttöön otettua ja päivitettyä CentOS 7 -esiintymää samassa aliverkossa, joissa yksityinen verkko on käytössä
• RabbitMQ asennettuna hallintakonsolin ollessa käytössä jokaisessa palvelimessa (katso RabbitMQ:n asentaminen CentOS 7:ään )
• Ei-järjestelmänvalvoja, jolla on sudo-oikeudet (katso Sudon käyttäminen Debianissa, CentOS:ssä ja FreeBSD:ssä )

Määritä palomuuri

CentOS:n palomuuri ( firewalld) ei salli saapuvaa liikennettä oletuksena. Jotta RabbitMQ olisi käytettävissä muille järjestelmille verkossa ja sen ulkopuolella, ja jotta voimme käyttää hallintakonsolia, meidän on ensin avattava joitain portteja.

RabbitMQ:n verkkokäyttöliittymän hallintakonsoli kuuntelee oletusarvoisesti porttia 15672. Haluamme tuoda hallintakonsolin julkisesti saataville, jotta voimme käyttää sitä tietokoneellamme. Siksi ohjeistamme firewalldavaamaan portin pysyvästi 15672julkisessa vyöhykkeessä (joka on oletus- ja aktiivinen vyöhyke Vultr-esiintymässä).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

RabbitMQ-solmujen on kyettävä kommunikoimaan toistensa kanssa. Haluamme avata tarvittavat portit, mutta vain sisäisen verkon kautta. Emme halua kenenkään Internetin voivan hallinnoida palvelimiamme tai ottaa suoraan yhteyttä palvelimiin. Seuraavat komennot olettavat, että palvelimemme ovat 192.168.0.100/24aliverkossa.

Ensimmäinen palvelu on epmdvertaisetsintäpalvelu, joka kuuntelee oletusarvoisesti porttia 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Solmujen välistä ja CLI-viestintää varten RabbitMQ:n on kyettävä kommunikoimaan portin kautta 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

CLI - työkalut kommunikoivat porttialueen yli 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Jos sovelluksesi tarvitsevat AMQP-protokollan, sinun on myös avattava portit 5671ja 5672. Jos sinun on pystyttävä kommunikoimaan toisen protokollan kautta, löydät tarvittavat tiedot RabbitMQ:n verkkovaatimuksista virallisesta RabbitMQ-dokumentaatiosta .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Nyt kun se firewalldon määritetty, meidän on ohjeistettava sitä lataamaan kokoonpano uudelleen.

sudo firewall-cmd --reload

Toista tämän osan vaiheet kaikilla palvelimilla.

Asentaa rabbitmqadmin

Hallintalaajennuksen mukana tulee Python-työkalu, rabbitmqadminjoka voidaan helposti asentaa järjestelmään, kun hallintalaajennus on otettu käyttöön.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Määritä DNS

Sinun on käytettävä palvelimen isäntänimiä palvelinten tunnistamiseen klusteroinnin aikana. Oletuksena palvelimille ei ole määritetty DNS-tietuetta ja yhteys epäonnistuu. Voit voittaa tämän nopeasti lisäämällä isäntä- ja peilipalvelimen nimen /etc/hoststiedostoon suosikkieditorillasi.

Esimerkiksi isäntäsi hosts-tiedosto saattaa näyttää seuraavalta. Huomaa kaksi viimeistä tietuetta, joiden avulla palvelimet voivat tunnistaa toisensa isäntänimen perusteella. Muista vaihtaa IP-osoitteet omiksi.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Klusteroi solmut

Tuonnin edellytys solmujen liittymiselle on, että kaikkien solmujen Erlang-eväste on identtinen. Oletusarvoisesti jokaiselle solmulle määritetään yksilöllinen Erlang-eväste, joten sinun on määritettävä se uudelleen kaikissa solmuissa.

Seuraava komento asettaa Erlang-evästeen arvoon " WE<3COOKIES", mutta voit muuttaa tätä haluamallasi tavalla. Tee tämä kaikilla palvelimilla.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Käynnistä RabbitMQ uudelleen kaikilla palvelimilla varmistaaksesi, että Erlang-eväste on ladattu oikein.

sudo systemctl restart rabbitmq-server.service

Suorita seuraavat komennot kaikilla palvelimilla paitsi pääpalvelimella. Tämä antaa solmujen liittyä pääpalvelimeen ja muodostaa klusterin.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Varmista, että solmut ovat liittyneet klusteriin suorittamalla seuraava komento.

sudo rabbitmqctl cluster_status

Kaikki solmusi näkyvät tulosteen nodesja running_nodes-osiossa. Tästä eteenpäin sinun ei enää tarvitse toistaa vaiheita jokaisella palvelimella, vaan kokoonpano peilataan automaattisesti muihin solmuihin.

Luo korkean saatavuuden käytäntö

Nyt kun meillä on RabbitMQ-solmuklusteri, voimme käyttää tätä korkean käytettävyyden jonot ja vaihdot luomalla uuden käytännön. Tämä käytäntö voidaan lisätä RabbitMQ-hallintakonsolin tai komentoriviliittymän kautta.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Seuraava luettelo selittää, mitä kukin komennon osa tarkoittaa.

• -p "/": Käytä tätä käytäntöä "/"vhostissa (oletusasetus asennuksen jälkeen)
• --priority 1: Järjestys, jossa käytäntöjä sovelletaan
• --apply-to "all": Voi olla "queues", "exchanges"tai"all"
• ha: Nimi, jonka annamme politiikallemme
• ".*": Säännöllinen lauseke, jota käytetään päättämään, mihin jonoihin tai vaihtoihin tätä käytäntöä sovelletaan. ".*"sopii mihin tahansa
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': Käytännön JSON-esitys. Tässä asiakirjassa kuvataan, että haluamme - täsmälleen 2 solmua, joiden tiedot synkronoidaan automaattisesti

Lyhyesti sanottuna tämä käytäntö varmistaa, että meillä on aina 2 kopiota tiedoista jonossa tai vaihdossa niin kauan kuin meillä on vähintään 2 solmua käynnissä. Jos sinulla on enemmän solmuja, voit lisätä arvoa ha-params. N/2 + 1Solmujen päätösvaltaisuus ( ) on suositeltavaa. Jos tiedoistasi on enemmän kopioita, levy-, i/o- ja verkkokäyttö lisääntyy, mikä voi johtaa suorituskyvyn heikkenemiseen.

Jos haluat peilata tiedot kaikkiin klusterin solmuihin, voit käyttää seuraavaa JSON-asiakirjaa.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Jos haluat peilata tiedot vain tiettyihin solmuihin (esimerkiksi: node-1ja node-2), voit käyttää seuraavaa.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Voit muuttaa säännöllistä lauseketta määrittääksesi eri käytännöt eri jonoihin. Oletetaan, että meillä on seuraavat kolme solmua:

• kani @ isäntä
• kani@client-ha
• kani@tuote-ha

Voimme sitten luoda kaksi käytäntöä, jotka johtavat siihen, että jonoilla on "asiakas"-alkuinen rabbit@client-hanimi, joka peilataan solmuun, ja kaikki jonot, joiden nimi alkaa "tuote", peilataan rabbit@product-hasolmuun.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Pieni huomautus tähän: eksklusiivisia jonoja ei koskaan peilata tai kestä RabbitMQ:ssa, vaikka tämä käytäntö vastaisikin tällaisia ​​jonoja. Eksklusiiviset jonot tuhoutuvat automaattisesti, kun asiakas katkaisee yhteyden, joten sen kopioiminen toiselle palvelimelle ei olisi hyödyllistä. Jos palvelin epäonnistuu, asiakas katkaisee yhteyden siihen ja jono tuhoutuisi automaattisesti. Myös peilatut tapaukset tuhoutuisivat.

Asennuksen testaaminen

Klustereiden asennuksen testaamiseksi voimme luoda uuden jonon komentoriviliittymällä hallintakonsolin kautta.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

Tämä luo pysyvän jonon oletusarvoiseen /vhost-palvelimeen, jonka nimi on my-ha-queue.

Suorita seuraava komento ja varmista lähdöstä, että jonolle on määritetty ha-käytäntömme ja että siinä on pid:t isäntäsolmussa ja peilisolmussa.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Voimme nyt julkaista viestin jonoon pääsolmusta ja pysäyttää RabbitMQ:n pääsolmussa.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Nyt saat sen takaisin yhdistämällä peilisolmuun.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Lopuksi voimme käynnistää pääsolmumme uudelleen.

sudo systemctl start rabbitmq-server.service

Poista vieraskäyttäjä

Kuten aiemmin mainittiin, RabbitMQ luo automaattisesti vieraskäyttäjän oletussalasanalla. Olisi huono käytäntö jättää tämä oletuskäyttäjä julkisesti esillä olevaan järjestelmään.

sudo rabbitmqctl delete_user guest