Delte drev med høj tilgængelighed ved hjælp af Vultr Block Storage og GlusterFS

GlusterFS er et netværkstilsluttet filsystem, som effektivt giver dig mulighed for at dele to drev på tværs af flere enheder på netværket. Dette filsystem passer perfekt til Vultrs bloklagringstilbud, da du er i stand til at dele et drev på tværs af netværket, hvilket ikke er muligt direkte fra kassen.

Med hensyn til funktioner, udvidelsesmuligheder og pålidelighed har GlusterFS vist sig at være et af de mest sofistikerede og stabile filsystemer, der findes.

Når der foretages ændringer på drevet på en server, vil de automatisk blive replikeret til den anden server i realtid. For at opnå dette og følge denne vejledning skal du bruge:

• To Vultr cloud-instanser, der helst kører det samme operativsystem.
• To bloklagerdrev af samme størrelse.

Efter at have bestilt disse to bloklagringsdrev, skal du vedhæfte dem til VM 1 og VM 2. Da vi vil bruge begge bloklagerdrev til det samme filsystem, vil dividering af den samlede størrelse af begge drev med to give dig den brugbare mængde af GB'er. For eksempel, hvis du har to 100 GB-drev, vil 100 GB kunne bruges (100 * 2 / 2).

Desuden skal begge VM'er være på samme placering, for at de kan være på det samme private netværk. Vi vil oprette forbindelse til serverne ved hjælp af deres interne IP-adresser. Bemærk, at vi sletter dataene på bloklagerdrevet. Sørg for, at de er helt nye og uformaterede.

I denne vejledning vil vi bruge storage1og storage2, henholdsvis med private IP-adresser 10.0.99.10 og 10.0.99.11. Dine servernavne og IP-adresser vil højst sandsynligt afvige, så sørg for at ændre dem i processen med at konfigurere GlusterFS.

Denne vejledning er skrevet med CentOS / RHEL 7 i tankerne. GlusterFS er dog relativt krydskompatibel på tværs af flere Linux-distributioner.

Opsætning af GlusterFS

Trin 1: Rediger /etc/hostsfilen

For at vi hurtigt skal kunne oprette forbindelse til de respektive instanser, bør vi tilføje navne, der er nemme at huske, til hostsfilen. Åbn /etc/hostsfilen og tilføj følgende linjer til bunden af ​​den:

10.0.99.10 storage1
10.0.99.11 storage2

Trin 2: Tilføj disken storage1

SSH ind i storage1og udfør følgende kommandoer. Som standard er tilsluttede bloklagerdrev monteret som /dev/vdb. Hvis dette af en eller anden grund afviger i dit tilfælde, bør du ændre det i kommandoerne nedenfor.

Formater disken:

fdisk /dev/vdb

Tryk på "enter" for de følgende tre spørgsmål (vedrørende partitionsstørrelse og lignende ønsker vi at bruge al tilgængelig plads på bloklagerdrevene) og skriv "w" for at skrive disse ændringer til disken. Efter at dette er blevet gennemført, skriv:

/sbin/mkfs.ext4 /dev/vdb1

Vi er gået videre og oprettet et filsystem nu, da Vultr som standard ikke opretter nogen filsystemer på bloklager.

Dernæst skal vi oprette den mappe, vi vil gemme vores filer på. Du kan ændre dette navn, men du vil ikke se det forekomme meget, så for at eliminere kompleksiteten anbefaler jeg at lade det være.

mkdir /glusterfs1

For automatisk at montere drevet ved opstart skal du åbne /etc/fstabog tilføje følgende linje i bunden af ​​filen:

/dev/vdb1 /glusterfs1      ext4    defaults        1 2

Til sidst monterer du drevet:

mount -a

Monteringen vil forblive vedvarende på tværs af genstarter, så når du genstarter din server, vil drevet automatisk blive monteret igen.

Trin 3: Tilføj disken storage2

Nu hvor vi har tilføjet og monteret disken på storage1, skal vi også oprette disken på storage2. Kommandoerne er næppe forskellige. For fdisk, følg de samme trin som ovenfor.

fdisk /dev/sdb
/sbin/mkfs.ext4 /dev/sdb1
mkdir /glusterfs2

Rediger /etc/fstabog tilføj følgende linje:

/dev/vdb1 /glusterfs2      ext4    defaults        1 2

Ligesom på storage1, vil drevet automatisk blive monteret på tværs af genstarter.

Monter drevet:

mount -a

Lad os endelig tjekke, om vi kan se partitionen dukke op:

df -h

Du bør se dit drev dukke op her. Hvis det ikke gør det, så prøv at følge trinene fra oven.

Trin 4: Installation af GlusterFS på storage1ogstorage2

Vi skal installere GlusterFS næste gang. Tilføj depotet og installer GlusterFS:

rpm  -ivh  http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.5/CentOS/glusterfs-epel.repo
yum -y install glusterfs glusterfs-fuse glusterfs-server

Der er en chance for, at du får en fejl, yumfordi signaturen for depotet ikke er rigtig. I så fald er det sikkert at tvinge til ikke at tjekke for GPG-signaturen:

yum -y install glusterfs glusterfs-fuse glusterfs-server --nogpgcheck

På begge servere skal du udføre følgende kommandoer for at starte GlusterFS lige nu og starte det automatisk efter en genstart:

systemctl enable glusterd.service
systemctl start glusterd.service

Hvis du bruger en ældre version af CentOS, kan du bruge serviceog chkconfigkommandoer:

chkconfig glusterd on
service glusterd start

Trin 5: Deaktivering af firewallen på storage1ogstorage2

Selvom det ikke er den bedste løsning i sig selv, er det en god idé at slukke for firewallen for at eliminere mulige konflikter med blokerede porte. Hvis du ikke føler dig tryg ved at gøre dette, så er du velkommen til at ændre reglerne efter din smag, men på grund af GlusterFS' natur anbefaler jeg stærkt at deaktivere firewall'en. I betragtning af at et privat netværk faktisk er privat på Vultr (og du ikke behøver at firewall ud andre kunder), kan du simpelthen blokere al indgående trafik fra internettet og begrænse tilladte forbindelser til det private netværk. Det er dog også tilstrækkeligt at slukke for firewallen og ikke ændre andre systemkonfigurationer:

systemctl stop firewalld.service
systemctl disable firewalld.service

Hvis du bruger en ældre CentOS version, som ikke understøtter systemctl, skal du bruge serviceog chkconfigkommandoer:

service firewalld stop
chkconfig firewalld off

Hvis du ikke bruger firewalld, prøv at deaktivere iptables:

service iptables stop
chkconfig iptables off

Trin 6: Tilføj servere til lagerpuljen

Efter at have slukket firewallen, er vi i stand til at tilføje begge servere til lagerpuljen. Dette er en pool bestående af al tilgængelig opbevaring. Udfør følgende kommando på storage1:

gluster peer probe storage2

Hvad denne kommando gør, er at tilføje storage2til sin egen lagerpulje. Ved at udføre følgende kommando på storage2vil begge drev være synkroniseret:

gluster peer probe storage1

Efter at have udført dette på begge servere, bør vi kontrollere status på begge servere:

gluster peer status

Begge servere bør vise tilstanden "Peers: 1". En almindelig fejl er, at folk forventer at se Peers: 2, men som det storage1vil være at peere med storage2og omvendt, peer de ikke med sig selv. Derfor Peers: 1er det, vi har brug for.

Trin 7: Oprettelse af et fællesdrev på storage1

Nu hvor begge servere er i stand til at forbinde med hinanden gennem GlusterFS, vil vi oprette et fælles drev.

Til storage1, udfør:

gluster volume create mailrep-volume replica 2  storage1:/glusterfs1/files  storage2:/glusterfs2/files force

Volumen er nu oprettet. I GlusterFS skal du "starte" en diskenhed, så den aktivt deles på tværs af flere enheder. Lad os starte det:

gluster volume start mailrep-volume

Vælg derefter en mappe, der skal være på diskenheden og replikeres på tværs af begge servere. I denne øvelse bruger vi mappen /var/files. Det kan naturligvis være alt, hvad du kan lide. Opret det storage1 kun på :

mkdir /var/files

Monter det derefter:

mount.glusterfs storage1:/mailrep-volume /var/files/

Opdater, /etc/fstabså drevet automatisk bliver monteret ved opstart. Tilføj følgende:

storage1:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Genmonter drevet:

mount -a

Trin 8: Oprettelse af et fællesdrev på storage2

Nu hvor vi har oprettet et fællesdrev på storage1, skal vi også oprette et på storage2. Opret en mappe med samme placering/sti og navn:

mkdir /var/files
mount.glusterfs storage2:/mailrep-volume /var/files/

Ligesom på storage1, tilføj følgende linje til /etc/fstab:

storage2:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Genmonter drevet:

mount -a

Trin 9: Test det delte lager

Naviger til /var/filesmappen på storage1og opret en fil:

cd /var/files
touch created_on_storage1

Gå derefter over til storage2serveren. Udfør, ls -laog du skulle se filen created_on_storage1vises.

På storage2, naviger til /var/filesmappen og opret en fil:

cd /var/files
touch created_on_storage2

Gå tilbage til storage1og udfør ls -la /var/files. Du bør se filen created_on_storage2vises her.

Trin 10: Genstart alle servere (valgfrit)

For at dobbelttjekke, om din opsætning forbliver vedholdende på tværs af genstarter, bør du som en bedste praksis genstarte alle servere. Som nævnt skal du vente på, at den ene server er oppe og derefter genstarte den anden, for at det delte drev automatisk bliver monteret.

Genstart storage1først, vent til den er oppe, og genstart derefter storage2. Log nu på og kør på begge servere:

cd /var/files
ls -la

Du skulle nu se begge filer vises. Sørg for at starte uden nogen filer på diskenheden, så fjern de testfiler, vi har oprettet. Du kan gøre dette på storage1, storage2eller begge dele. Ændringer vil blive replikeret øjeblikkeligt:

cd /var/files
rm created_on_storage1
rm created_on_storage2

Du bør have en identisk delt volumen på tværs af begge servere, uanset handlingerne på begge diskenheder.

Du har nu opsat en fuldgyldig GlusterFS-opsætning med 100 GB (eller mere) brugbar plads. Hvis du har brug for mere i fremtiden, er opsætningen let skalerbar for at tilføje mere kapacitet og/eller flere servere, hvis din arbejdsbyrde kræver dette.

Tak fordi du læste!

Vigtig bemærkning vedrørende genmontering

GlusterFS giver mulighed for at holde dine data opdaterede på to drev. Du skal dog bemærke, at når begge servere genstartes på samme tid , bliver du nødt til at tvinge drevene på begge servere. Du skal tvinge monteringen manuelt ved at udføre følgende kommando:

gluster volume start mailrep-volume force

Det er fordi en af ​​serverne fungerer som en server, og den anden fungerer som en klient. Selvom forskellen ikke er mærkbar i praksis, betyder det, at når du skal genstarte begge servere, skal du genstarte den ene, vente til den er oppe, og derefter starte den anden.

Vigtig bemærkning vedrørende sikkerhedskopiering

Selvom dine data vil blive replikeret på tværs af to drev, bør du have dine data replikeret mindst tre gange. Selvom dine data er bedre beskyttet mod datakorruption og lignende, skal du være opmærksom på, at ændringer er øjeblikkelige, og du vil på ingen måde være beskyttet mod menneskelige fejl. Når du fjerner alle filer på det ene drev, vil disse ændringer straks blive replikeret til det andet drev, hvilket betyder, at dine data vil blive slettet på begge forekomster.

Heldigvis er der flere måder at undgå dette på. Først og fremmest anbefaler jeg at aktivere sikkerhedskopier på selve din cloud-instans. Selvom disse sikkerhedskopier ikke inkluderer data på bloklageret, vil det beskytte data på selve instansen.

Når det kommer til at sikkerhedskopiere dataene på selve bloklageret, anbefaler jeg at spinne en separat instans op (for eksempel en SATA-plan), så du for eksempel kan køre en backup fra en af ​​de to tilknyttede servere hver nat. På denne måde vil dine data være sikre på en anden separat enhed.

FAQ

Er jeg i stand til at øge min disklagerplads?

Du er i stand til at øge bloklagerstørrelsen fra Vultr-kontrolpanelet. Du bør ændre størrelsen på disken inde i operativsystemet efter, men det er uden for denne artikels omfang.

Kan jeg tilslutte bloklageret til over to servere?

Selvom denne vejledning er skrevet til to servere (altså to bloklagringsdrev knyttet til begge servere), men det er også muligt at tage denne vejledning og bruge den til over to servere. En opsætning med over to servere/drev kunne se sådan ud for 6 servere, for eksempel:

VM: storage1
VM: storage2
VM: storage3
VM: storage4
Block Storage: attached to storage1
Block Storage: attached to storage2
Block Storage: attached to storage3
Block Storage: attached to storage4

Givet at alle bloklagerdrev har en kapacitet på f.eks. 200 GB, ville du få 200 * 4 / 4. Med andre ord er den brugbare plads altid kapaciteten af ​​et enkelt bloklagerdrev. Det skyldes, at en server med tilknyttet bloklager behandles som "master" af GlusterFS, og den replikeres på tværs af de andre servere. Opsætningen er dog bygget til at kunne overleve uden en masterserver, hvilket gør det til en så redundant og pålidelig, stabil løsning.