Namestite nabor replik z visoko razpoložljivostjo v MongoDB 3.4 z uporabo ključne datoteke za nadzor dostopa v Ubuntu 16.04

Od svoje zasnove leta 2009 MongoDB vodi industrijo NoSQL. Eden od temeljnih konceptov MongoDB je nabor replik, zato si pred delom z njim najprej oglejmo koncept.

O kompletu replik

Najpreprostejši model komunikacije, ki se uporablja pri replikaciji baz podatkov, je arhitektura Master-Slave. Kot že ime pove, ima ta model 2 vlogi, ki sta razporejeni v edinstveno glavno enoto in veliko podrejenih, je vloga glavnega, da obdela operacije branja in pisanja, ki jih izvajajo odjemalci, podrejeni pa se obravnavajo kot replika glavnega.

Najpomembnejša prednost tega modela je, da operacije varnostnega kopiranja niso ogrožene zmogljivosti glavnega strežnika, operacije varnostnega kopiranja se izvajajo asinhrono in to lahko postane resna težava, ko glavno vozlišče odpove. Podrejena vozlišča so samo za branje in jih je treba ročno povišati v glavno vozlišče, tako da v tem času obstaja možnost izgube podatkov.

Ena od možnosti za rešitev problema razpoložljivosti je, da imate več kot enega glavnega strežnika v arhitekturi, vendar lahko to povzroči še eno težavo v doslednosti podatkov med temi primerki in dodatno zapletenost konfiguracije.

Zdaj glede na kontekst lahko predstavimo tehnologijo Replica Set MongoDB. Nabor replik je ime arhitekture Master-Slave, ki ima samodejni preklop, tako da v trenutku, ko glavno (ki je zdaj imenovano primary) vozlišče ne deluje pravilno, se electionbo sprožilo in iz preostalih podrejenih bo izbrano novo primarno vozlišče ( zdaj imenovano secondaries).

Primarno vozlišče

Primarno vozlišče je edino, ki izvaja operacije pisanja, privzeto operacije branja obravnava tudi primarno, vendar je to vedenje mogoče pozneje spremeniti.

Operacije se zabeležijo v oplog(dnevnik operacij), nato pa sekundarna vozlišča asinhrono posodobijo svojo vsebino na podlagi vsebineoplog

Opomba: oplogje zbirka omejena, to pomeni, da ima zbirka omejitev, pri čemer local.oplog.rslahko preverite vsebino te zbirke znotraj lupine mongo v katerem koli članu nabora.

Sekundarno vozlišče

Poleg tega, da je tisto, ki naredi ustrezno varnostno kopijo baze podatkov, ima sekundarno vozlišče te vloge:

• Po potrebi lahko sprejme operacije branja.
• Lahko sproži volitve, če primarno vozlišče ne uspe.
• Lahko glasuje na volitvah.
• Po potrebi lahko postane nova primarna.

Zahvaljujoč tem značilnostim imamo lahko različne vrste sekundarnih vozlišč:

• Prednost 0 : Ta vozlišča ne morejo postati a primaryin ne morejo sprožiti volitev, kljub temu lahko glasujejo na volitvah, imajo popolno repliko in lahko sprejmejo operacije branja. Ti so lahko v pomoč pri uvajanju več podatkovnih centrov.
• Skrit : To so Priority 0člani, vendar poleg tega ne morejo obdelati bralnih operacij. Po potrebi lahko glasujejo. Prednostne naloge za te člane so poročanje in varnostne kopije.
• Zakasnjena : Ta vozlišča so zadolžena za "zgodovinske podatke" tako, da so zakasnjena z določeno časovno enoto. Zakasnjeni član mora biti priority 0vozlišče, zato je priporočljivo, da je tudi hiddenčlan.

Predpogoji

• Razpoložljivost za zagon najmanj 3 primerkov Ubuntu 16.04 x64 z enako velikostjo strežnika.

Oblikujte komplet replik

Pred uvedbo infrastrukture je pomembno, da jo načrtujete in pri tej zasnovi je treba upoštevati točke.

Izbira števila članov

Upoštevajte, da je najmanjše število elementov za izgradnjo nabora replik 3. Tri vrste vozlišč lahko mešate z najmanj enim primarnim in enim sekundarnim vozliščem.

V tem priročniku razporedimo 3 člane, enega primarnega in dva standardna sekundarna.

Opomba: Priporočljivo je, da imate največ 7 članov z glasovalno pravico z mešanico arbitrov in sekundarnih članov.

Izberite ime

Ime je samo za referenco, vendar ga uporabljate v konfiguraciji kompleta. Upoštevajte, da imate lahko v svojem produkcijskem okolju več kot en nabor replik, zato ne zanemarite imena nabora.

Ta vadnica uporabnika spodbuja, da izbere ime niza.

Razporeditev članov v različnih podatkovnih centrih

Ta vadnica predlaga namestitev v istem podatkovnem centru, da se izognete težavam s komunikacijo.

Opomba: V primeru uvajanja v različnih podatkovnih centrih je priporočljivo, da svoja vozlišča ovijete z VPN

Navodila za uvajanje

1. korak: Namestite minimalna vozlišča za vašo infrastrukturo

Zaženite 3 vozlišča Ubuntu 16.04 x64; v isti regiji z vašega portala za stranke, če je mogoče. Ne pozabite jih poimenovati glede na vrsto projekta, s katerim se ukvarjate, in se prepričajte, da imate enako velikost strežnika v vseh teh vozliščih.

Ko namestite svoja 3 vozlišča, boste morali biti prepričani, da se lahko vsako vozlišče pogovarja z ostalimi. Ssh morate preklopiti na dve vozlišči in doseči druga z uporabo ping -c 4 EXAMPLE_IP. Spremenite EXAMPLE_IPna dejanske IP-je vaših vozlišč.

Tukaj si lahko ogledate primer uspešne komunikacije med dvema vozliščema.

root@foo_node:~# ping -c 4 EXAMPLE_IP
PING EXAMPLE_IP (EXAMPLE_IP) 56(84) bytes of data.
64 bytes from EXAMPLE_IP: icmp_seq=1 ttl=59 time=0.594 ms
64 bytes from EXAMPLE_IP: icmp_seq=2 ttl=59 time=0.640 ms
64 bytes from EXAMPLE_IP: icmp_seq=3 ttl=59 time=0.477 ms
64 bytes from EXAMPLE_IP: icmp_seq=4 ttl=59 time=0.551 ms

--- EXAMPLE_IP ping statistics ---
4 packets transmitted, 4 received, 0% packet loss, time 3021ms
rtt min/avg/max/mdev = 0.477/0.565/0.640/0.064 ms

2. korak: Namestite MongoDB v vsako vozlišče vaše infrastrukture

Na splošno lahko uporabite paket MongoDB za Ubuntu, vendar je bolje uporabiti uradni repo skupnosti, ker je vedno posodobljen. Ta repo vsebuje te pakete:

• mongodb-org , skupinski paket, ki zajema štiri komponente.
• mongodb-org-server , ta vsebuje mongoddemon (primarni proces, ki obravnava zahteve za podatke).
• mongodb-org-mongos , ta vsebuje mongosdemon (usmerjevalna storitev za skupne razmestitve).
• mongodb-org-shell , to je mongo shellvmesnik JavaScript.
• mongodb-org-tools , nekatera orodja za skrbniške dejavnosti.

Nadaljujte z namestitvijo paketov.

Uvozite javni ključ v sistem za upravljanje paketov.

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 0C49F3730359A14518585931BC711F9BA15703C6

Ustvarite datoteko s seznamom za MongoDB '/etc/apt/sources.list.d/mongodb-org-3.4.list'.

echo "deb [ arch=amd64,arm64 ] http://repo.mongodb.org/apt/ubuntu xenial/mongodb-org/3.4 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-3.4.list

Posodobite bazo podatkov paketov.

sudo apt-get update

Namestite metapaket MongoDB.

sudo apt-get install -y mongodb-org

Zaženite storitev MongoDB.

sudo service mongod start

Zdaj lahko odprete mongo shellv kateri koli seji bash. Če želite to narediti, morate uporabiti mongoukaz. Pričakalo vas bo nekaj podobnega.

MongoDB shell version v3.4.7
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.4.7
Welcome to the MongoDB shell.
For interactive help, type "help".
For more comprehensive documentation, see http://docs.mongodb.org/
Questions? Try the support group
http://groups.google.com/group/mongodb-user
Server has startup warnings:
*Some extra logs are cut by the way*
>

Ne pozabite izklopiti storitve z sudo service mongod stop, ker bomo kasneje začeli mongodznova z nekaterimi parametri. Ta postopek ponovite v vseh 3 vozliščih niza.

3. korak: Konfigurirajte ključno datoteko za dostop

Uporaba datoteke s ključi vsili dva koncepta v administraciji nabora replik. Prvi je Internal Authentication. Privzeto lahko začnete mongo shellsejo brez uporabe uporabnika in ta seja bo imela popoln nadzor nad bazo podatkov, ko pa za preverjanje pristnosti uporabite ključno datoteko, vaša mongo shellseja doseže stanje, imenovano localhost exception. To stanje vam omogoča samo ustvarjanje skrbniškega uporabnika in nabor replik. Drugi koncept je Role-Based Access Controlali z drugimi besedami avtorizacija. To je uveljavljeno za urejanje upravnih ravni za nabor replik.

Ustvarite svojo ključno datoteko

Ključna datoteka je geslo za uporabo v nizu, to geslo mora biti enako v vseh članih nabora. Za povečanje varnosti je pomembno, da z orodjem po vaši izbiri uporabite naključni ključ.

Vsebina mora biti dolga od 6 do 1064 znakov. Prav tako morate nastaviti read onlydovoljenje za ključno datoteko.

chmod 400 PATH_OF_YOUR_KEYFILE

Postavite ključno datoteko v vsak član nabora

Zdaj kopirajte svojo ključno datoteko v vsakega člana nabora, uporabite dosledno mapo za nadaljnjo uporabo in je ne shranjujte na izmenljivi medij.

Uporabite tudi mapo za datoteko, mongoddo katere lahko dostopate.

Uveljavi z uporabo ključne datoteke v nizu replik

V tem koraku moramo začeti član mongod daemon v vsakem nizu . mongodPostopek lahko začnete na dva načina : z uporabo konfiguracijske datoteke ali z ukazno vrstico. Obe sta precej enostavni metodi, vendar samo zaradi preprostosti ta vadnica uporablja različico ukazne vrstice.

Konfiguracija ukazne vrstice

Uporabite ime, ki ste ga izbrali prej v tem ukazu.

mongod --keyFile PATH_OF_YOUR_KEYFILE --replSet "YOUR_SET_NAME"

Privzeto mongodse ne izvaja kot demon. Uporabiti boste morali --forkparameter ali uporabiti, da ga upstartv celoti zaženete kot demon. V tej vadnici ne spodbujamo izvajanja mongodkot demona, tako da si lahko ogledate dnevnike neposredno v vašem terminalu.

Opomba: Previdno vnesite ime nabora replik, ker ga, ko je enkrat ustvarjen, ne morete spremeniti.

4. korak: Povežite se z vmesnikom lokalnega gostitelja iz enega od članov nabora

Opomba: Če izvajate mongodkot proces brez demona, boste morali za nadaljevanje dela odpreti drugo povezavo ssh.

Za mongoodpiranje datoteke mongo shell. To je mogoče storiti v katerem koli članu nabora.

V tem trenutku smo v stanju, ki se imenuje localhost exception. Ko se za nastavitev mongodpostopka uporablja ključna datoteka , morate ustvariti skrbnika baze podatkov, preden lahko uporabite operacije branja in pisanja, vendar se bomo o tem posvetili pozneje.

5. korak: Zagon nabora replik

To je občutljiv del, uporabljamo ukaz rs.initiate()znotraj mongo shellkoraka 4. Preden uporabite ta ukaz, ga poglejmo.

rs.initiate(
  {
    _id : <replicaSetName>,
    members: [
      { _id : 0, host : "example1.net:27017" },
      { _id : 1, host : "example2.net:27017" },
      { _id : 2, host : "example3.net:27017" }
    ]
  }
)

Prvo _idpolje je niz in se mora ujemati s --replSettistim, ki je bilo predhodno posredovano v mongod. Prav tako hostmora biti vsaka vrednost ali ip ali ime domene vsakega člana nabora replik. Ne pozabite dodati vrat, ki jih uporablja primerek mongo v vsakem članu.

Zdaj je čas, da izvedete ukaz s svojimi podatki, to bo sprožilo election, nato pa bo primarni izvoljen samodejno.

Tukaj morate upoštevati, da se je kazalec vaše lupine spremenil v YOUR_SET_NAME:PRIMARY>ali YOUR_SET_NAME:SECONDARY. To pomeni, da je bilo ustvarjanje kompleta uspešno.

Če želite nadaljevati z delom, morate najti primarydatoteko , če seveda niste na njej. Uporabite rs.status()ukaz za prikaz informacij o nizu replik in poiščite datoteko primary. Iščete nepremičnino "stateStr" : "PRIMARY".

6. korak: Ustvarjanje skrbnika

Ko najdete primary, vnesite mongo shellin zaženite naslednji ukaz z uporabo vaših podatkov.

admin = db.getSiblingDB("admin")
admin.createUser(
  {
    user: "YOUR_USER",
    pwd: "YOU_PASSWORD",
    roles: [ { role: "userAdminAnyDatabase", db: "admin" } ]
  }
)

admin = db.getSiblingDB("admin")Del nam omogoča pisanje v adminiz druge podatkovne zbirke. To ustvari vzdevek, imenovan admin, tako da lahko namesto tega izvajamo ukaze z njim.

Če je operacija uspešna, boste prejeli obvestilo, da je bil uporabnik dodan.

Successfully added user: {
    "user" : "YOUR_USER",
    "roles" : [
        {
            "role" : "userAdminAnyDatabase",
            "db" : "admin"
        }
    ]
}

Na tej točki imamo samo skrbnika za vse strežnike, vendar nas nastavitev Replica prisili, da imamo uporabnika z clusterAdminvlogo. Ustvarili bomo drugega uporabnika s samo to vlogo, da ločimo pomisleke.

7. korak: Preverjanje pristnosti kot skrbnik

Dosegli smo mejo localhost exception, zato moramo spremeniti preverjanje pristnosti uporabniku, ki je bil ustvarjen en korak prej.

Uporabnike v notranjosti lahko spremenite mongo shellz naslednjim.

db.getSiblingDB("admin").auth("YOUR_ADMIN", "YOUR_PASSWORD" )

Če se še niste povezali z mongo shellukazom, namesto tega uporabite ta ukaz.

mongo -u "YOUR_ADMIN" -p "YOUR_PASSWORD" --authenticationDatabase "admin"

O spremembi uporabnika boste obveščeni in lahko greste na naslednji korak.

8. korak: Ustvarjanje glavnega gruča

clusterAdminVloga daje uporabniku popoln nadzor nad nizom Replica. Ustvarjanje je tako enostavno kot ustvarjanje skrbniškega uporabnika.

db.getSiblingDB("admin").createUser(
  {
    "user" : "YOUR_USER",
    "pwd" : "YOUR_PASSWORD",
    roles: [ { "role" : "clusterAdmin", "db" : "admin" } ]
  }
)

Upoštevajte, da se tokrat vloga spremeni vclusterAdmin .

9. korak: Vstavljanje podatkov v nabor replik

Trenutno imamo 2 skrbniška uporabnika: enega, ki ima popoln nadzor nad strežnikom, in drugega, ki ima dostop do skrbniških nalog na ravni nabora replik. Vendar pa nam manjka uporabnik, ki bi imel dostop do "uporabe" baze podatkov, zato bomo tega uporabnika ustvarili zdaj.

admin = db.getSiblingDB("admin")
admin.createUser(
  {
    user: "YOUR_USER",
    pwd: "YOUR_PASSWORD",
    roles: [ { role: "userAdminAnyDatabase", db: "cars" } ]
  }
)

Upoštevajte, da tokrat spreminjamo dbdel, tam postavljamo bazo podatkov, dostopno uporabniku, v tem primeru uporabljamo bazo podatkov z imenom cars.

Baza podatkov še ni ustvarjena. Če želite to narediti, boste morali vnesti nekaj ukazov, da ga implicitno ustvarite. Preklopite na carsbazo podatkov.

use cars

Prejeli boste obvestilo: switched to db cars.

Baza podatkov še vedno ni ustvarjena, zato morate vanjo nekaj napisati. Uporabljamo naslednji primer.

db.models.insert({ make: "Dodge", model: "Viper", year: 2010 })

Tokrat boste obveščeni z WriteResult({ "nInserted" : 1 }).

Če želite, lahko pridobite vse predmete v bazi podatkov z find()metodo:

db.models.find()
{ "_id" : ObjectId("59acd8b55334882863541ff4"), "make" : "Dodge", "model" : "Viper", "year" : 2010 }

Upoštevajte, da _idbo vaš izhod drugačen, vendar morajo biti drugi podatki enaki. Če bo dovolj časa, bodo ti podatki replicirani na druge člane.

Zaključek

Ustvarjanje kompleta replik je sprva lahko zahtevno, ker je treba razumeti veliko informacij, a ko dobite idejo, ga lahko na hitro uporabite, zato ne obupajte, če ga ne morete dojeti že prvič. Upoštevajte, da je nabor replik pomemben pri administraciji MongoDB, ker odpira možnost dodajanja naprednih funkcij, kot je uravnoteženje obremenitve.