RabbitMQ grupēšana operētājsistēmā CentOS 7

RabbitMQ ir atvērtā pirmkoda ziņojumu brokeris, kas atbalsta AMQP, STOMP un citas komunikācijas tehnoloģijas. To plaši izmanto uzņēmumu lietojumprogrammās un modernās mikropakalpojumu arhitektūrās, kur tas darbojas kā asinhrons ziņojumu kanāls starp dažādiem mikropakalpojumiem. Šajā rokasgrāmatā ir aprakstīts, kā RabbitMQ var grupēt vairākos CentOS 7 serveros, lai izveidotu augstas pieejamības ziņojumu starpnieku. Šajā apmācībā viens serveris darbosies kā galvenais serveris, bet pārējie serveri darbosies kā spoguļserveri, ja galvenais serveris kļūs nepieejams.

Priekšnoteikumi

• Vismaz divi svaigi izvietoti un atjaunināti CentOS 7 gadījumi vienā apakštīklā ar iespējotu privāto tīklu
• RabbitMQ ir instalēts ar iespējotu pārvaldības konsoli katrā serverī (skatiet Kā instalēt RabbitMQ operētājsistēmā CentOS 7 )
• Lietotājs, kas nav administrators ar sudo tiesībām (skatiet Kā lietot Sudo Debian, CentOS un FreeBSD )

Konfigurējiet ugunsmūri

CentOS ugunsmūris ( firewalld) pēc noklusējuma neatļauj ienākošo trafiku. Lai RabbitMQ būtu pieejams citām sistēmām tīklā un ārpus tā un ļautu mums piekļūt pārvaldības konsolei, vispirms ir jāatver daži porti.

RabbitMQ tīmekļa saskarnes pārvaldības konsole pēc noklusējuma klausās portā 15672. Mēs vēlamies padarīt pārvaldības konsoli publiski pieejamu, lai mēs varētu tai piekļūt no sava datora. Tāpēc mēs norādīsim firewalldpastāvīgi atvērt portu 15672publiskajā zonā (kas ir noklusējuma un aktīvā zona Vultr instancē).

sudo firewall-cmd --zone=public --add-port=15672/tcp --permanent

RabbitMQ mezgliem jāspēj sazināties vienam ar otru. Mēs vēlētos atvērt nepieciešamos portus, bet tikai caur iekšējo tīklu. Mēs nevēlamies, lai kāds interneta lietotājs varētu administrēt vai tieši sazināties ar mūsu serveriem. Šīs komandas pieņem, ka mūsu serveri atrodas 192.168.0.100/24apakštīklā.

Pirmais pakalpojums ir epmdvienādranga atklāšanas pakalpojums, kas pēc noklusējuma klausās portā 4369.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="4369" accept'

Lai nodrošinātu starpmezglu un CLI saziņu, RabbitMQ ir jāspēj sazināties, izmantojot portu 25672.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="25672" accept'

CLI rīki sazinās portu diapazonā 35672-35682.

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="35672-35682" accept'

Ja jūsu lietojumprogrammām ir nepieciešams AMQP protokols, jums būs jāatver arī porti 5671un 5672. Ja jums ir jāspēj sazināties, izmantojot citu protokolu, nepieciešamo informāciju par RabbitMQ tīkla prasībām varat atrast oficiālajā RabbitMQ dokumentācijā .

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5672" accept'

sudo firewall-cmd --permanent --zone=public --add-rich-rule='
  rule family="ipv4"
  source address="192.168.0.100/24"
  port protocol="tcp" port="5671" accept'

Tagad, kad tas firewalldir konfigurēts, mums ir jānorāda, lai tā atkārtoti ielādētu konfigurāciju.

sudo firewall-cmd --reload

Atkārtojiet šīs sadaļas darbības visos serveros.

Uzstādīt rabbitmqadmin

Pārvaldības spraudnis ir aprīkots ar Python rīku, rabbitmqadminko var viegli instalēt sistēmā, tiklīdz pārvaldības spraudnis ir iespējots.

sudo wget http://localhost:15672/cli/rabbitmqadmin
sudo mv rabbitmqadmin /usr/local/bin/
sudo chmod +x /usr/local/bin/rabbitmqadmin

Konfigurēt DNS

Klasterizācijas laikā ir jāizmanto servera resursdatora nosaukumi, lai identificētu serverus. Pēc noklusējuma serveriem nav piešķirts DNS ieraksts, un savienojums neizdosies. Lai to ātri pārvarētu, pievienojiet /etc/hostsfailam galveno un spoguļresursa nosaukumu, izmantojot savu iecienītāko redaktoru.

Piemēram, jūsu galvenā saimniekdatora fails var izskatīties šādi. Ievērojiet pēdējos divus ierakstus, kas ļauj serveriem identificēt viens otru pēc resursdatora nosaukuma. Noteikti nomainiet IP adreses uz savām.

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1 guest
::1       guest

127.0.0.1 YOUR_MASTER_SERVER_HOST_NAME
::1       YOUR_MASTER_SERVER_HOST_NAME


192.168.0.101 YOUR_MASTER_SERVER_HOST_NAME
192.168.0.102 YOUR_MIRROR_SERVER_HOST_NAME

Sagrupējiet mezglus

Importēšanas priekšnoteikums, lai mezgli varētu pievienoties viens otram, ir tas, ka visu mezglu Erlang sīkfails ir identisks. Pēc noklusējuma katram mezglam tiks piešķirts unikāls Erlang sīkfails, tāpēc tas ir jāpārkonfigurē visos mezglos.

Šī komanda iestatīs Erlang sīkfailu uz " WE<3COOKIES", taču varat to mainīt pēc saviem ieskatiem. Dariet to visos serveros.

sudo sh -c "echo 'WE<3COOKIES' > /var/lib/rabbitmq/.erlang.cookie"

Restartējiet RabbitMQ visos serveros, lai pārliecinātos, ka Erlang sīkfails ir pareizi ielādēts.

sudo systemctl restart rabbitmq-server.service

Izpildiet šādas komandas visos serveros, izņemot galvenajā serverī. Tas ļaus mezgliem pievienoties galvenajam serverim un izveidot kopu.

sudo rabbitmqctl stop_app
sudo rabbitmqctl join_cluster "rabbit@<YOUR_MASTER_SERVER_HOST_NAME>"
sudo rabbitmqctl start_app

Pārbaudiet, vai mezgli ir pievienojušies klasterim, izpildot šo komandu.

sudo rabbitmqctl cluster_status

Visas jūsu mezgliem parādīsies nodesun running_nodessadaļā produkciju. No šī brīža jums vairs nav jāatkārto darbības katrā serverī, konfigurācija tiks automātiski atspoguļota citos mezglos.

Izveidojiet augstas pieejamības politiku

Tagad, kad mums ir RabbitMQ mezglu kopa, mēs varam to izmantot, lai izveidotu augstas pieejamības rindas un apmaiņu, iestatot jaunu politiku. Šo politiku var pievienot, izmantojot RabbitMQ pārvaldības konsoli vai komandrindas saskarni.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "all" ha ".*" '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}'

Nākamajā sarakstā ir paskaidrots, ko nozīmē katra komandas daļa.

• -p "/": izmantojiet šo politiku "/"vhost (pēc instalēšanas noklusējuma)
• --priority 1: secība, kādā piemērojamas politikas
• --apply-to "all": Var būt "queues", "exchanges"vai"all"
• ha: nosaukums, ko piešķiram savai politikai
• ".*": regulārā izteiksme, kas tiek izmantota, lai izlemtu, kurām rindām vai apmaiņām šī politika tiek piemērota. ".*"piestāvēs jebkam
• '{ "ha-mode": "exactly", "ha-params": 2, "ha-sync-mode": "automatic"}': politikas JSON attēlojums. Šajā dokumentā ir aprakstīts, ka mēs vēlamies - tieši 2 mezglus, uz kuriem dati tiek automātiski sinhronizēti

Īsāk sakot, šī politika nodrošinās, ka mums vienmēr būs 2 datu kopijas rindā vai apmaiņā, ja vien mums ir izveidoti un darbojas vismaz 2 mezgli. Ja jums ir vairāk mezglu, varat palielināt vērtību ha-params. Ieteicams N/2 + 1mezglu kvorums ( ). Ja jums ir vairāk datu kopiju, palielināsies diska, i/o un tīkla lietojums, kā rezultātā var pasliktināties veiktspēja.

Ja vēlaties atspoguļot datus visos klastera mezglos, varat izmantot šo JSON dokumentu.

'{ "ha-mode": "all", "ha-sync-mode": "automatic"}'

Ja vēlaties atspoguļot datus tikai noteiktos mezglos (piemēram: node-1un node-2), varat izmantot tālāk norādīto.

'{ "ha-mode": "nodes", "ha-params" :["rabbit@node-1", "rabbit@node-2"], "ha-sync-mode": "automatic"}'

Varat mainīt regulāro izteiksmi, lai dažādām rindām piešķirtu dažādas politikas. Pieņemsim, ka mums ir šādi trīs mezgli:

• trusis@meistars
• zaķis@klients-ha
• trusis@produkts-ha

Pēc tam mēs varam izveidot divas politikas, kuru rezultātā rindas ar nosaukumu, kas sākas ar "klients", tiks atspoguļotas rabbit@client-hamezglā, un visas rindas, kuru nosaukums sākas ar "produkts", tiks atspoguļotas rabbit@product-hamezglā.

sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-client "client.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@client-ha"], "ha-sync-mode": "automatic"}
sudo rabbitmqctl set_policy -p "/" --priority 1 --apply-to "queues" ha-product "product.*" '{ "ha-mode": "nodes", "ha-params": ["rabbit@master", "rabbit@product-ha"], "ha-sync-mode": "automatic"}

Šeit ir neliela piezīme: ekskluzīvas rindas nekad netiek atspoguļotas vai noturīgas pakalpojumā RabbitMQ, pat ja šī politika atbilstu šādām rindām. Ekskluzīvas rindas tiek automātiski iznīcinātas, tiklīdz klients atvienojas, un tādēļ nebūtu lietderīgi to replicēt citā serverī. Ja serveris neizdosies, klients atvienotos no tā un rinda tiktu automātiski iznīcināta. Tiks iznīcināti arī spoguļattēli.

Iestatījuma pārbaude

Lai pārbaudītu grupēto iestatīšanu, mēs varam izveidot jaunu rindu, izmantojot komandrindas interfeisu, izmantojot pārvaldības konsoli.

sudo rabbitmqadmin declare queue --vhost "/" name=my-ha-queue durable=true

Tas izveidos ilgstošu rindu noklusējuma /vhost ar nosaukumu my-ha-queue.

Palaidiet šo komandu un izvadā pārbaudiet, vai rindai ir piešķirta mūsu “ha” politika un vai galvenajā un spoguļmezglā ir pid.

sudo rabbitmqctl list_queues name policy state pid slave_pids

Tagad mēs varam publicēt ziņojumu rindā no galvenā mezgla un apturēt RabbitMQ galvenajā mezglā.

sudo rabbitmqadmin -u user_name -p password  publish routing_key=my-ha-queue payload="hello world"
sudo systemctl rabbitmqctl shutdown

Tagad iegūstiet to atpakaļ, izveidojot savienojumu ar spoguļa mezglu.

 sudo rabbitmqadmin -H MIRROR_NODE_IP_OR_DNS -u user_name -p password get queue=my-ha-queue

Visbeidzot, mēs varam restartēt mūsu galveno mezglu.

sudo systemctl start rabbitmq-server.service

Dzēst viesa lietotāju

Kā minēts iepriekš, RabbitMQ automātiski izveido viesa lietotāju ar noklusējuma viesa paroli. Būtu slikta prakse atstāt šo noklusējuma lietotāju publiski atklātā sistēmā.

sudo rabbitmqctl delete_user guest