Grumbullimi i RabbitMQ në CentOS 7

RabbitMQ është një ndërmjetës mesazhesh me burim të hapur që mbështet AMQP, STOMP dhe teknologji të tjera komunikimi. Përdoret gjerësisht në aplikacionet e ndërmarrjeve dhe arkitekturat moderne të mikro-shërbimeve ku vepron si një kanal mesazhesh asinkron midis mikro-shërbimeve të ndryshme. Ky udhëzues do të përshkruajë se si mund të grumbulloni RabbitMQ në shumë serverë CentOS 7 për të formuar një ndërmjetës mesazhesh me disponueshmëri të lartë. Në këtë tutorial, një server do të veprojë si një server kryesor dhe serverët e tjerë do të veprojnë si serverë pasqyrë në rast se serveri kryesor bëhet i padisponueshëm.

Parakushtet

• Të paktën dy raste të CentOS 7 të vendosura dhe të përditësuara rishtazi në të njëjtin nënrrjet me rrjetin privat të aktivizuar
• RabbitMQ i instaluar me konsolën e menaxhimit të aktivizuar në secilin server (shihni Si të instaloni RabbitMQ në CentOS 7 )
• Një përdorues jo-administrator me të drejta sudo (Shihni Si të përdorni Sudo në Debian, CentOS dhe FreeBSD )

Konfiguro murin e zjarrit

Muri i zjarrit CentOS, ( firewalld), nuk lejon asnjë trafik në hyrje si parazgjedhje. Për ta bërë RabbitMQ të disponueshëm për sisteme të tjera brenda dhe jashtë rrjetit dhe për të na lejuar të aksesojmë konsolën e menaxhimit, fillimisht duhet të hapim disa porte.

Konsola e menaxhimit të ndërfaqes në ueb të RabbitMQ dëgjon si parazgjedhje në port 15672. Ne dëshirojmë që tastiera e menaxhimit të jetë e disponueshme për publikun, në mënyrë që të mund ta aksesojmë atë nga kompjuteri ynë. Prandaj, ne do të udhëzojmë firewalldqë porti të hapet përgjithmonë 15672në zonën publike (e cila është zona e paracaktuar dhe aktive në një shembull Vultr).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

Nyjet RabbitMQ duhet të jenë në gjendje të komunikojnë me njëri-tjetrin. Ne dëshirojmë të hapim portat e nevojshme, por vetëm përmes rrjetit të brendshëm. Ne nuk duam që dikush në internet të jetë në gjendje të administrojë ose të kontaktojë drejtpërdrejt serverët tanë. Komandat e mëposhtme supozojnë se serverët tanë janë në 192.168.0.100/24nënrrjet.

Shërbimi i parë është shërbimi i epmdzbulimit të kolegëve i cili dëgjon si parazgjedhje në port 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Për komunikimin internode dhe CLI, RabbitMQ duhet të jetë në gjendje të komunikojë përmes portit 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

Mjetet CLI komunikojnë në intervalin e porteve 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Nëse aplikacionet tuaja kanë nevojë për protokollin AMQP, do t'ju duhet gjithashtu të hapni portet 5671dhe 5672. Nëse keni nevojë të jeni në gjendje të komunikoni përmes një protokolli tjetër, mund të gjeni informacionin e nevojshëm në lidhje me kërkesat e rrjetit të RabbitMQ në dokumentacionin zyrtar të RabbitMQ .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Tani që firewalldështë konfiguruar, ne duhet ta udhëzojmë atë të ringarkojë konfigurimin.

sudo firewall-cmd --reload

Përsëritni hapat nga ky seksion në të gjithë serverët.

Instaloni rabbitmqadmin

Shtojca e menaxhimit vjen me një mjet Python të quajtur i rabbitmqadmincili mund të instalohet lehtësisht në sistem pasi të aktivizohet shtojca e menaxhimit.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Konfiguro DNS

Ju duhet të përdorni emrat e hosteve të serverit për të identifikuar serverët gjatë grumbullimit. Si parazgjedhje, serverët nuk kanë asnjë rekord DNS të caktuar dhe lidhja do të dështojë. Për ta kapërcyer shpejt këtë, shtoni emrin master dhe pasqyrë të hostit në /etc/hostsskedar duke përdorur redaktorin tuaj të preferuar.

Për shembull, skedari i hosteve të masterit tuaj mund të duket si më poshtë. Vini re dy regjistrimet e fundit, të cilat lejojnë serverët të identifikojnë njëri-tjetrin me emrin e tyre të hostit. Sigurohuni që të ndryshoni adresat IP në tuajat.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Grumbulloni nyjet

Një parakusht importi për të lejuar nyjet të bashkohen me njëri-tjetrin është që skedari Erlang i të gjitha nyjeve të jetë identik. Si parazgjedhje, çdo nyje do t'i caktohet një skedar unik Erlang, kështu që duhet ta rikonfiguroni atë në të gjitha nyjet.

Komanda e mëposhtme do ta vendosë skedarin Erlang në " WE<3COOKIES", por mos ngurroni ta ndryshoni këtë sipas dëshirës tuaj. Bëni këtë në të gjithë serverët.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Rinisni RabbitMQ në të gjithë serverët për t'u siguruar që kuki Erlang është ringarkuar siç duhet.

sudo systemctl restart rabbitmq-server.service

Ekzekutoni komandat e mëposhtme në të gjithë serverët, përveç në serverin kryesor. Kjo do t'i lejojë nyjet të bashkohen me serverin kryesor dhe të formojnë një grup.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Verifikoni që nyjet janë bashkuar me grupin duke ekzekutuar komandën e mëposhtme.

sudo rabbitmqctl cluster_status

Të gjitha nyjet tuaja do të shfaqen në seksionin nodesdhe running_nodestë daljes. Tani e tutje, nuk keni më nevojë të përsërisni hapat në secilin server, konfigurimi do të pasqyrohet automatikisht në nyjet e tjera.

Krijo një politikë me disponueshmëri të lartë

Tani që kemi një grup nyjesh RabbitMQ, mund ta përdorim këtë për të krijuar radhë dhe shkëmbime me disponueshmëri të lartë duke vendosur një politikë të re. Kjo politikë mund të shtohet përmes panelit të menaxhimit të RabbitMQ ose duke përdorur ndërfaqen e linjës së komandës.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Lista e mëposhtme do të shpjegojë se çfarë do të thotë secila pjesë e komandës.

• -p "/": Përdorni këtë politikë në "/"vhost (parazgjedhja pas instalimit)
• --priority 1: Rendi në të cilin do të aplikohen politikat
• --apply-to "all": Mund të jetë "queues", "exchanges"ose"all"
• ha: Emri që i japim politikës sonë
• ".*": Shprehja e rregullt që përdoret për të vendosur se në cilat radhë ose shkëmbime zbatohet kjo politikë. ".*"do të përputhet me çdo gjë
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': Përfaqësimi JSON i politikës. Ky dokument përshkruan se ne duam - saktësisht 2 nyje në të cilat të dhënat sinkronizohen automatikisht

Shkurtimisht, kjo politikë do të sigurojë që ne do të kemi gjithmonë 2 kopje të të dhënave në një radhë ose shkëmbim për sa kohë që kemi të paktën 2 nyje në funksionim. Nëse keni më shumë nyje, mund të rrisni vlerën e ha-params. N/2 + 1Këshillohet një kuorum, ( ), i nyjeve. Të kesh më shumë kopje të të dhënave tuaja do të rezultonte në përdorim më të lartë të diskut, i/o dhe rrjetit, gjë që mund të rezultojë në një performancë të degraduar.

Nëse dëshironi t'i pasqyroni të dhënat në të gjitha nyjet në grup, mund të përdorni dokumentin e mëposhtëm JSON.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Nëse dëshironi t'i pasqyroni të dhënat vetëm në nyje specifike, (për shembull: node-1dhe node-2), mund të përdorni sa vijon.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Ju mund të ndryshoni shprehjen e rregullt për të caktuar politika të ndryshme në radhë të ndryshme. Le të themi se kemi tre nyjet e mëposhtme:

• lepuri@mjeshtër
• lepuri@klient-ha
• lepuri@produkt-ha

Më pas mund të krijojmë dy politika të cilat do të rezultojnë që radhët të kenë një emër që fillon me "klient" për t'u pasqyruar në rabbit@client-hanyje dhe të gjitha radhët që kanë një emër që fillon me "produkt" të pasqyrohen në rabbit@product-hanyje.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Një vërejtje e vogël këtu: radhët ekskluzive nuk pasqyrohen kurrë ose qëndrojnë në RabbitMQ, edhe nëse kjo politikë do të përputhej me radhë të tilla. Radhët ekskluzive shkatërrohen automatikisht pasi një klient shkëputet dhe, si i tillë, nuk do të ishte e dobishme ta riprodhonte atë në një server tjetër. Nëse serveri do të dështonte, klienti do të shkëputej prej tij dhe radha do të shkatërrohej automatikisht. Rastet e pasqyruara do të shkatërroheshin gjithashtu.

Testimi i konfigurimit

Për të testuar konfigurimin e grupuar, ne mund të krijojmë një radhë të re duke përdorur ndërfaqen e linjës së komandës përmes konsolës së menaxhimit.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

Kjo do të krijojë një radhë të qëndrueshme në /vhost-in e paracaktuar me emrin my-ha-queue.

Ekzekutoni komandën e mëposhtme dhe verifikoni në dalje që radha ka politikën tonë 'ha' të caktuar dhe ka pid' në master dhe në një nyje pasqyre.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Tani mund të publikojmë një mesazh në radhë nga nyja kryesore dhe të ndalojmë RabbitMQ në nyjen kryesore.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Tani kthejeni atë duke u lidhur me nyjen e pasqyrës.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Më në fund, ne mund të rifillojmë nyjen tonë kryesore.

sudo systemctl start rabbitmq-server.service

Fshi përdoruesin e ftuar

Siç u përmend më parë, RabbitMQ krijon automatikisht një përdorues të ftuar me një fjalëkalim të paracaktuar të vizitorit. Do të ishte praktikë e keqe ta lini këtë përdorues të paracaktuar në një sistem të ekspozuar publikisht.

sudo rabbitmqctl delete_user guest