Nasaďte súpravu replík s vysokou dostupnosťou v MongoDB 3.4 pomocou súboru kľúča na riadenie prístupu na Ubuntu 16.04

Od svojho počatia v roku 2009 je MongoDB lídrom v odvetví NoSQL. Jedným zo základných konceptov MongoDB je Replica Set, takže predtým, ako s ním začnete pracovať, najprv si prečítajte koncept.

O súprave replík

Najjednoduchším modelom komunikácie používaným pri replikácii databáz je architektúra Master-Slave. Ako už názov napovedá, tento model má 2 úlohy, ktoré sú rozložené v jedinečnom masteri a mnohých slave, úlohou master je spracovávať operácie čítania a zápisu vykonávané klientmi a slave sú považované za repliku mastera.

Najdôležitejšou výhodou tohto modelu je, že výkon hlavného uzla nie je ohrozený operáciami zálohovania, operácie zálohovania sa vykonávajú asynchrónnym spôsobom, čo sa môže stať vážnym problémom, keď hlavný uzol zlyhá. Podriadené uzly sú len na čítanie a musia byť manuálne povýšené na hlavný uzol, takže v tomto čase existuje možnosť straty údajov.

Jednou z možností, ako vyriešiť problém s dostupnosťou, je mať v architektúre viac ako jeden hlavný server, čo však môže viesť k ďalšiemu problému v konzistencii údajov medzi týmito inštanciami a pridanej zložitosti konfigurácie.

Teraz vzhľadom na kontext môžeme predstaviť technológiu Replica Set MongoDB. Replica Set je názov architektúry Master-Slave, ktorá má automatické prepnutie pri zlyhaní, takže v momente, keď hlavný primaryuzol (ktorý je teraz pomenovaný ) nefunguje správne, electionspustí sa a zo zostávajúcich podriadených zariadení sa zvolí nový primárny uzol ( teraz označované ako secondaries).

Primárny uzol

Primárny uzol je jediný, ktorý vykonáva operácie zápisu, operácie čítania štandardne spracováva aj primárny uzol, ale toto správanie možno neskôr zmeniť.

Operácie sa zaznamenávajú do oplog(operačného denníka), potom sekundárne uzly aktualizujú svoj obsah asynchrónne na základe obsahuoplog

Poznámka: oplogide o obmedzenú kolekciu, čo znamená, že kolekcia má limit, pričom local.oplog.rsobsah tejto kolekcie môžete skontrolovať v mongo shell v ktoromkoľvek členovi sady.

Sekundárny uzol

Okrem toho, že sekundárny uzol robí správnu zálohu databázy, má tieto úlohy:

• V prípade potreby môže akceptovať operácie čítania.
• Môže spustiť voľby, ak primárny uzol zlyhá.
• Môže voliť vo voľbách.
• V prípade potreby sa môže stať novým primárom.

Vďaka týmto vlastnostiam môžeme mať rôzne typy sekundárnych uzlov:

• Priorita 0 : Tieto uzly sa nemôžu stať primarya nemôžu spustiť voľby, napriek tomu môžu hlasovať vo voľbách, majú úplnú repliku a môžu prijímať operácie čítania. Tieto môžu byť užitočné pri nasadení viacerých dátových centier.
• Skryté : Toto sú Priority 0členovia, ale navyše nedokážu spracovať operácie čítania. V prípade potreby môžu hlasovať. Preferovanými úlohami pre týchto členov sú zostavy a zálohy.
• Oneskorené : Tieto uzly majú na starosti „historické údaje“ tým, že sú oneskorené s nejakou jednotkou v čase. Oneskorený člen musí byť priority 0uzol a odporúča sa, aby bol tiež hiddenčlenom.

Predpoklady

• Dostupnosť spustiť minimálne 3 inštancie Ubuntu 16.04 x64 s rovnakou veľkosťou servera.

Navrhnite súpravu Replica

Pred nasadením infraštruktúry je dôležité ju navrhnúť a pri tomto návrhu je potrebné zvážiť niekoľko bodov.

Výber počtu členov

Majte na pamäti, že minimálny počet prvkov na zostavenie sady Replica je 3. Môžete kombinovať tri typy uzlov s minimálne jedným primárnym a jedným sekundárnym uzlom.

V tejto príručke nasadzujeme 3 členov, jedného primárneho a dvoch štandardných sekundárnych.

Poznámka: Odporúča sa mať maximálny počet 7 hlasujúcich členov s kombináciou rozhodcov a vedľajších členov.

Vyberte meno

Názov je len orientačný, ale používate ho v konfigurácii súpravy. Majte na pamäti, že vo svojom produkčnom prostredí môžete mať viac ako jednu sadu Replica, takže nezanedbávajte názov sady.

Tento návod nabáda používateľa, aby si vybral názov súpravy.

Distribúcia členov v rôznych dátových centrách

Tento návod navrhuje nasadenie v rovnakom dátovom centre, aby ste sa vyhli problémom s komunikáciou.

Poznámka: V prípade nasadenia v rôznych dátových centrách sa odporúča obklopiť vaše uzly sieťou VPN

Pokyny na nasadenie

Krok 1: Nasaďte minimálne uzly pre vašu infraštruktúru

Spustite 3 uzly Ubuntu 16.04 x64; v rovnakom regióne z vášho zákazníckeho portálu, ak je to možné. Nezabudnite ich pomenovať podľa typu projektu, ktorým sa zaoberáte, a uistite sa, že máte vo všetkých týchto uzloch rovnakú veľkosť servera.

Po nasadení svojich 3 uzlov si budete musieť byť istí, že každý uzol môže komunikovať so zvyškom. Potrebujete ssh do dvoch uzlov a dostať sa k ostatným pomocou ping -c 4 EXAMPLE_IP. Zmeňte EXAMPLE_IPna skutočné adresy IP vašich uzlov.

Tu môžete vidieť príklad úspešnej komunikácie medzi dvoma uzlami.

root@foo_node:~# ping -c 4 EXAMPLE_IP
PING EXAMPLE_IP (EXAMPLE_IP) 56(84) bytes of data.
64 bytes from EXAMPLE_IP: icmp_seq=1 ttl=59 time=0.594 ms
64 bytes from EXAMPLE_IP: icmp_seq=2 ttl=59 time=0.640 ms
64 bytes from EXAMPLE_IP: icmp_seq=3 ttl=59 time=0.477 ms
64 bytes from EXAMPLE_IP: icmp_seq=4 ttl=59 time=0.551 ms

--- EXAMPLE_IP ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3021ms
rtt min/avg/max/mdev = 0.477/0.565/0.640/0.064 ms

Krok 2: Nainštalujte MongoDB do každého uzla vašej infraštruktúry

Vo všeobecnosti môžete použiť balík MongoDB Ubuntu, ale je lepšie použiť oficiálny komunitný repo, pretože je vždy aktuálny. Toto repo obsahuje tieto balíčky:

• mongodb-org , skupinový balík, ktorý obklopuje štyri komponenty.
• mongodb-org-server obsahuje mongoddémona (primárny proces, ktorý spracováva požiadavky na údaje).
• mongodb-org-mongos , toto obsahuje mongosdémona (smerovacia služba pre zdieľané nasadenia).
• mongodb-org-shell , toto je mongo shellrozhranie JavaScript.
• mongodb-org-tools , niektoré nástroje pre administratívne činnosti.

Pokračujte v inštalácii balíkov.

Importujte verejný kľúč do systému správy balíkov.

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6

Vytvorte súbor zoznamu pre MongoDB '/etc/apt/sources.list.d/mongodb-org-3.4.list'.

echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list

Aktualizujte databázu balíkov.

sudo apt-get update

Nainštalujte metabalík MongoDB.

sudo apt-get install -y mongodb-org

Spustite službu MongoDB.

sudo service mongod start

Teraz môžete otvoriť mongo shellv akejkoľvek bash relácii. Ak to chcete urobiť, musíte použiť mongopríkaz. Privíta vás niečo podobné ako toto.

MongoDB shell version v3.4.7
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.4.7
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see http://docs.mongodb.org/
Questions? Try the support group
http://groups.google.com/group/mongodb-user
Server has startup warnings:
*Some extra logs are cut by the way*
>

Nezabudnite službu vypnúť pomocou sudo service mongod stop, pretože neskôr začneme mongodznova s ​​niektorými parametrami. Opakujte tento postup vo všetkých 3 uzloch sady.

Krok 3: Nakonfigurujte súbor prístupového kľúča

Použitie súboru kľúčov si vynúti dva koncepty v správe Replica Set. Prvým je Internal Authentication. Štandardne môžete spustiť mongo shellreláciu bez použitia užívateľa a táto relácia bude mať úplnú kontrolu nad databázou, ale keď na autentifikáciu použijete súbor kľúčov, vaša mongo shellrelácia dosiahne stav s názvom localhost exception. Tento stav vám umožňuje vytvoriť iba používateľa správcu a sadu Replica. Druhým pojmom je Role-Based Access Control, alebo inými slovami autorizácia. Toto je vynútené na riadenie administratívnych úrovní sady Replica.

Vytvorte si súbor kľúčov

Kľúčový súbor je heslo, ktoré sa má použiť v množine, toto heslo musí byť rovnaké pre všetkých členov množiny. Na zvýšenie bezpečnosti je dôležité použiť náhodný kľúč s nástrojom podľa vášho výberu.

Obsah musí mať 6 až 1064 znakov. Musíte tiež nastaviť read onlypovolenie pre súbor kľúčov.

chmod 400 PATH_OF_YOUR_KEYFILE

Umiestnite súbor kľúča do každého člena sady

Teraz skopírujte súbor kľúčov do každého člena sady, použite konzistentný priečinok pre budúce použitie a neukladajte ho na vymeniteľné médium.

Použite tiež priečinok pre súbor, ku ktorému mongodmá prístup.

Vynútiť pomocou súboru kľúča v sade Replica

V tomto kroku musíme spustiť mongod daemon in každý člen množiny . Existujú dva spôsoby spustenia mongodprocesu: pomocou konfiguračného súboru alebo pomocou príkazového riadku. Obidve sú celkom jednoduché metódy, ale len pre jednoduchosť tento návod používa verziu príkazového riadku.

Konfigurácia príkazového riadku

Použite názov, ktorý ste si vybrali skôr v tomto príkaze.

mongod --keyFile PATH_OF_YOUR_KEYFILE --replSet "YOUR_SET_NAME"

By default mongod does not run as a daemon. You will need to use the --fork parameter or use the upstart to fully run it as a daemon. In this tutorial we do not encourage running mongod as a daemon so you can see the logs into your terminal directly.

Note: Carefully type the name of the Replica set because once created you cannot change it.

Step 4: Connect to the localhost interface from one of the set members

Note: If you run mongod as a non-daemon process, then you will have to open another ssh connection to continue working.

You must use mongo command to open the mongo shell. This can be done in any member of the set.

At this moment we are in a state called localhost exception. When a keyfile is used to setup the mongod process, you are obligated to create a database administrator before you can apply read-write operations, but we will go into that later.

Step 5: Initiating the Replica set

This is a delicate part, we are using the command rs.initiate() inside the mongo shell from Step 4. before using this command let's review it.

rs.initiate(
  {
    _id : <replicaSetName>,
    members: [
      { _id : 0, host : "example1.net:27017" },
      { _id : 1, host : "example2.net:27017" },
      { _id : 2, host : "example3.net:27017" }
    ]
  }
)

The first _id field is a string and must match the --replSet that was passed before to mongod. Also, each value of host must be either the ip or the domain name of each member of the Replica set. Do not forget to append the port the mongo instance is using in each member.

Now it is time to execute the command with your data on it, this will trigger an election, then a primary will be elected automatically.

Here you should note that your shell cursor has changed to YOUR_SET_NAME:PRIMARY> or YOUR_SET_NAME:SECONDARY. This means that creating a set was a success.

To continue working you need to find the primary, if your are not on it of course. Use the rs.status() command to show the information of the Replica set and locate the primary. You are looking for the property "stateStr" : "PRIMARY".

Step 6: Creating the administrator

After you have located the primary, enter the mongo shell and run the next command using your data.

admin = db.getSiblingDB("admin")
admin.createUser(
  {
    user: "YOUR_USER",
    pwd: "YOU_PASSWORD",
    roles: [ { role: "userAdminAnyDatabase", db: "admin" } ]
  }
)

The admin = db.getSiblingDB("admin") part lets us write into admin from a different database. This creates an alias called admin, so we can execute commands using it instead.

Ak je operácia úspešná, dostanete upozornenie, že používateľ bol pridaný.

Successfully added user: {
    "user" : "YOUR_USER",
    "roles" : [
        {
            "role" : "userAdminAnyDatabase",
            "db" : "admin"
        }
    ]
}

V tomto bode máme iba správcu pre všetky servery, ale sada Replica nás núti mať používateľa s clusterAdminrolou. Vytvoríme ďalšieho používateľa iba s touto úlohou, aby sme oddelili obavy.

Krok 7: Autentifikácia ako správca

Dosiahli sme limit localhost exception, a preto musíme zmeniť autentifikáciu na používateľa vytvoreného o krok skôr.

Používateľov vo vnútri môžete zmeniť mongo shellnasledujúcim spôsobom.

db.getSiblingDB("admin").auth("YOUR_ADMIN", "YOUR_PASSWORD" )

Ak ste sa ešte nepripojili, mongo shellpoužite namiesto toho tento príkaz.

mongo -u "YOUR_ADMIN" -p "YOUR_PASSWORD" --authenticationDatabase "admin"

Budete upozornení na zmenu používateľa a môžete prejsť na ďalší krok.

Krok 8: Vytvorenie hlavného klastra

clusterAdminÚloha dáva užívateľovi plnú kontrolu nad sady replík. Vytvorenie je rovnako jednoduché ako vytvorenie administrátora.

db.getSiblingDB("admin").createUser(
  {
    "user" : "YOUR_USER",
    "pwd" : "YOUR_PASSWORD",
    roles: [ { "role" : "clusterAdmin", "db" : "admin" } ]
  }
)

Všimnite si, že tentoraz sa rola zmení naclusterAdmin .

Krok 9: Vloženie údajov do sady Replica

V tejto chvíli máme 2 správcov: jedného, ​​ktorý má úplnú kontrolu nad serverom a druhého, ktorý má prístup k administratívnym úlohám na úrovni sady Replica. Chýba nám však používateľ, ktorý by mal prístup na „používanie“ databázy, takže tohto používateľa teraz vytvoríme.

admin = db.getSiblingDB("admin")
admin.createUser(
  {
    user: "YOUR_USER",
    pwd: "YOUR_PASSWORD",
    roles: [ { role: "userAdminAnyDatabase", db: "cars" } ]
  }
)

Všimnite si, že tentokrát meníme dbčasť, tam dávame databázu prístupnú používateľovi, v tomto prípade používame databázu s názvom cars.

Databáza ešte nie je vytvorená. Ak to chcete urobiť, budete musieť zadať nejaké príkazy, aby ste ho implicitne vytvorili. Prepnite sa do carsdatabázy.

use cars

Dostanete upozornenie: switched to db cars.

Databáza ešte nebola vytvorená, na to je potrebné do nej niečo napísať. Používame nasledujúci príklad.

db.models.insert({ make: "Dodge", model: "Viper", year: 2010 })

Tentoraz budete upozornení pomocou WriteResult({ "nInserted" : 1 }).

Ak chcete, môžete získať všetky objekty v databáze pomocou find()metódy:

db.models.find()
{ "_id" : ObjectId("59acd8b55334882863541ff4"), "make" : "Dodge", "model" : "Viper", "year" : 2010 }

Všimnite si, že _idsa to bude líšiť vo vašom výstupe, ale ostatné údaje by mali byť rovnaké. Ak bude dostatok času, tieto údaje budú replikované ostatným členom.

Záver

Vytvorenie súpravy replík môže byť zo začiatku náročné, pretože je tu veľa informácií, ktorým treba porozumieť, no akonáhle získate nápad, ktorý za tým stojí, môžete ho rýchlo nasadiť, takže sa nevzdávajte, ak ho nemôžete pochopiť na prvýkrát. Majte na pamäti, že sada Replica je dôležitá v správe MongoDB, pretože otvára možnosť pridať pokročilé funkcie, ako je vyrovnávanie záťaže.