Споделени дискове с висока достъпност, използващи Vultr Block Storage и GlusterFS

GlusterFS е прикачена към мрежа файлова система, която ефективно ви позволява да споделяте два диска на множество устройства в мрежата. Тази файлова система е идеална за предложението за блоково съхранение на Vultr, тъй като можете да споделяте диск в мрежата, което не е възможно нестандартно.

По отношение на характеристиките, разширяемостта и надеждността, GlusterFS се доказа като една от най-сложните и стабилни налични файлови системи.

Когато се направят промени в устройството на един сървър, те автоматично ще бъдат репликирани на другия сървър в реално време. За да постигнете това и да следвате това ръководство, ще ви трябва:

• Два облачни екземпляра на Vultr, за предпочитане с една и съща операционна система.
• Две блокови устройства за съхранение с еднакъв размер.

След като сте поръчали тези две блокови устройства за съхранение, трябва да ги прикачите към VM 1 и VM 2. Тъй като ще използваме и двете блокови устройства за съхранение за една и съща файлова система, разделянето на общия размер на двете устройства на две ще ви даде използваемото количество на ГБ. Например, ако имате два 100 GB диска, 100 GB ще бъдат използвани (100 * 2 / 2).

Освен това и двете виртуални машини ще трябва да са на едно и също място, за да бъдат в една и съща частна мрежа. Ще се свързваме със сървърите, използвайки техните вътрешни IP адреси. Имайте предвид, че ще изтрием данните на блоковото устройство за съхранение. Уверете се, че са чисто нови и неформатирани.

В това ръководство ще използваме storage1и storage2, съответно с частни IP адреси 10.0.99.10 и 10.0.99.11. Имената и IP адресите на вашите сървъри най-вероятно ще се различават, така че не забравяйте да ги промените в процеса на настройка на GlusterFS.

Това ръководство е написано с мисъл за CentOS / RHEL 7. Въпреки това, GlusterFS е относително кръстосано съвместим в множество Linux дистрибуции.

Настройка на GlusterFS

Стъпка 1: Променете /etc/hostsфайла

За да можем бързо да се свържем със съответните екземпляри, трябва да добавим лесни за запомняне имена към hostsфайла. Отворете /etc/hostsфайла и добавете следните редове в долната част на него:

10.0.99.10 storage1
10.0.99.11 storage2

Стъпка 2: Добавете диска storage1

SSH в storage1и изпълнете следните команди. По подразбиране прикачените блокови устройства за съхранение се монтират като /dev/vdb. Ако това се различава във вашия случай по някаква причина, трябва да го промените в командите по-долу.

Форматирайте диска:

fdisk /dev/vdb

Натиснете "enter" за следните три въпроса (относно размера на дяла и други подобни, искаме да използваме цялото налично пространство на блоковите устройства за съхранение) и напишете "w", за да запишете тези промени на диска. След като това приключи успешно, напишете:

/sbin/mkfs.ext4 /dev/vdb1

Продължихме и създадохме файлова система сега, тъй като Vultr не създава никакви файлови системи в блоково хранилище по подразбиране.

След това ще създадем папката, в която ще съхраняваме нашите файлове. Можете да промените това име, но няма да го виждате да изглежда много, така че в името на елиминирането на сложността препоръчвам да го оставите на мира.

mkdir /glusterfs1

За да монтирате автоматично устройството при зареждане, отворете /etc/fstabи добавете следния ред в долната част на файла:

/dev/vdb1 /glusterfs1      ext4    defaults        1 2

Накрая монтирайте устройството:

mount -a

Монтирането ще остане постоянно при рестартиране, така че когато рестартирате сървъра си, устройството автоматично ще бъде монтирано отново.

Стъпка 3: Добавете диска storage2

Сега, когато имаме добавен и монтиран диск storage1, трябва да създадем и диска storage2. Командите почти не се различават. За fdisk, следвайте същите стъпки, както по-горе.

fdisk /dev/sdb
/sbin/mkfs.ext4 /dev/sdb1
mkdir /glusterfs2

Редактирайте /etc/fstabи добавете следния ред:

/dev/vdb1 /glusterfs2      ext4    defaults        1 2

Точно както при storage1, устройството автоматично ще бъде монтирано при рестартиране.

Монтирайте устройството:

mount -a

И накрая, нека проверим дали можем да видим как се показва дялът:

df -h

Трябва да видите вашето устройство да се показва тук. Ако не стане, опитайте се да следвате стъпките отгоре.

Стъпка 4: Инсталиране на GlusterFS на storage1иstorage2

След това трябва да инсталираме GlusterFS. Добавете хранилището и инсталирайте GlusterFS:

rpm  -ivh  http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.5/CentOS/glusterfs-epel.repo
yum -y install glusterfs glusterfs-fuse glusterfs-server

Има вероятност да получите грешка, yumзащото подписът за хранилището не е правилен. В този случай е безопасно да принудително не проверявате за подписа на GPG:

yum -y install glusterfs glusterfs-fuse glusterfs-server --nogpgcheck

И на двата сървъра изпълнете следните команди, за да стартирате GlusterFS точно сега и да го стартирате автоматично след рестартиране:

systemctl enable glusterd.service
systemctl start glusterd.service

Ако използвате по-стара версия на CentOS, можете да използвате serviceи chkconfigкомандите:

chkconfig glusterd on
service glusterd start

Стъпка 5: Деактивиране на защитната стена на storage1иstorage2

Въпреки че не е най-доброто решение само по себе си, добра идея е да изключите защитната стена, за да елиминирате възможни конфликти с блокирани портове. Ако не се чувствате комфортно да правите това, тогава не се колебайте да промените правилата по ваш вкус, но поради естеството на GlusterFS, силно препоръчвам да деактивирате защитната стена. Като се има предвид, че частната мрежа всъщност е частна във Vultr (и не е необходимо да блокирате защитната стена на други клиенти), можете просто да блокирате целия входящ трафик от интернет и да ограничите разрешените връзки към частната мрежа. Въпреки това, изключването на защитната стена и непромяната на други системни конфигурации също би било достатъчно:

systemctl stop firewalld.service
systemctl disable firewalld.service

В случай, че използвате по-стара версия CentOS който не поддържа systemctl, използвайте serviceи chkconfigкоманди:

service firewalld stop
chkconfig firewalld off

В случай, че не използвате firewalld, опитайте да деактивирате iptables:

service iptables stop
chkconfig iptables off

Стъпка 6: Добавете сървъри към пула за съхранение

След като изключим защитната стена, можем да добавим и двата сървъра към пула за съхранение. Това е басейн, състоящ се от всички налични хранилища. Изпълнете следната команда на storage1:

gluster peer probe storage2

Това, което прави тази команда, е да добавя storage2към собствения си пул за съхранение. Чрез изпълнение на следната команда на storage2, двете устройства ще бъдат синхронизирани:

gluster peer probe storage1

След като изпълним това и на двата сървъра, трябва да проверим състоянието и на двата сървъра:

gluster peer status

И двата сървъра трябва да показват състояние на "Peers: 1". Често срещана грешка е, че хората очакват да видят Peers: 2, но както storage1ще storage2надничат със себе си и обратно, те не надничат със себе си. Следователно Peers: 1е това, от което се нуждаем.

Стъпка 7: Създаване на споделен диск на storage1

Сега, когато и двата сървъра могат да се свързват един с друг чрез GlusterFS, ще създадем споделено устройство.

На storage1, изпълнете:

gluster volume create mailrep-volume replica 2  storage1:/glusterfs1/files  storage2:/glusterfs2/files force

Томът вече е създаден. В GlusterFS трябва да „стартирате“ том, така че да се споделя активно на множество устройства. Да започнем:

gluster volume start mailrep-volume

След това изберете папка, която трябва да бъде на тома и да се репликира на двата сървъра. В този урок ще използваме папката /var/files. Естествено това може да бъде всичко, което искате. Създайте го storage1 само на :

mkdir /var/files

След това го монтирайте:

mount.glusterfs storage1:/mailrep-volume /var/files/

Актуализирайте, /etc/fstabтака че устройството автоматично да се монтира при зареждане. Добавете следното:

storage1:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Монтирайте отново устройството:

mount -a

Стъпка 8: Създаване на споделен диск на storage2

Сега, когато създадохме споделен диск на storage1, трябва да създадем и на storage2такъв. Създайте папка със същото местоположение / път и име:

mkdir /var/files
mount.glusterfs storage2:/mailrep-volume /var/files/

Точно както на storage1, добавете следния ред към /etc/fstab:

storage2:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Монтирайте отново устройството:

mount -a

Стъпка 9: Тествайте споделеното хранилище

Придвижете се до /var/filesпапката storage1и създайте файл:

cd /var/files
touch created_on_storage1

След това отидете на storage2сървъра. Изпълнете ls -laи трябва да видите как се created_on_storage1появява файлът .

На storage2, отворете /var/filesпапката и създайте файл:

cd /var/files
touch created_on_storage2

Върнете се към storage1и изпълнете ls -la /var/files. Трябва да видите, че файлът се created_on_storage2появява тук.

Стъпка 10: Рестартирайте всички сървъри (По избор)

За да проверите отново дали вашата настройка ще остане постоянна при рестартиране, като най-добра практика трябва да рестартирате всички сървъри. Както споменахме, трябва да изчакате единия сървър да се включи и след това да рестартирате другия, за да се монтира автоматично споделеното устройство.

storage1Първо рестартирайте , изчакайте да се включи, след това рестартирайте storage2. Сега влезте и изпълнете на двата сървъра:

cd /var/files
ls -la

Сега трябва да видите, че се появяват и двата файла. Не забравяйте да започнете без никакви файлове на тома, така че премахнете тестовите файлове, които сме създали. Можете да направите това от storage1, storage2или и двете. Промените ще бъдат репликирани незабавно:

cd /var/files
rm created_on_storage1
rm created_on_storage2

Трябва да имате идентичен споделен том и на двата сървъра, независимо от действията на двата тома.

Вече сте настроили пълноценна настройка на GlusterFS със 100 GB (или повече) използваемо пространство. В случай, че имате нужда от повече в бъдеще, настройката е лесно мащабируема, за да добавите повече капацитет и/или повече сървъри, ако работното ви натоварване изисква това.

Благодаря ви, че четете!

Важна забележка относно премонтирането

GlusterFS позволява да поддържате вашите данни актуални на два диска. Трябва обаче да отбележите, че когато и двата сървъра се рестартират едновременно , ще трябва да монтирате принудително устройствата на двата сървъра. Трябва да принудите монтирането ръчно, като изпълните следната команда:

gluster volume start mailrep-volume force

Това е така, защото единият от сървърите действа като сървър, а другият действа като клиент. Въпреки че разликата не се забелязва много лесно на практика, това означава, че когато трябва да рестартирате и двата сървъра, трябва да рестартирате единия, да изчакате, докато се включи, след това да стартирате другия.

Важна забележка относно архивирането

Въпреки че вашите данни ще бъдат репликирани на две устройства, трябва да репликирате данните си поне три пъти. Въпреки че вашите данни са по-добре защитени срещу повреда на данните и други подобни, трябва да отбележите, че промените са незабавни и по никакъв начин няма да бъдете защитени срещу човешка грешка. Когато премахнете всички файлове на едно устройство, тези промени незабавно ще бъдат репликирани на другото устройство, което означава, че данните ви ще бъдат изтрити и на двата екземпляра.

За щастие има множество подходи за избягване на това. Първо, препоръчвам да активирате архивиране на самия облачен екземпляр. Въпреки че тези резервни копия не включват данни в блоковото хранилище, те ще защитят данните в самия екземпляр.

Когато става въпрос за архивиране на данните в самото блоково хранилище, препоръчвам да завъртите отделен екземпляр (например SATA план), за да можете да стартирате архивиране от един от двата свързани сървъра всяка вечер, например. По този начин вашите данни ще бъдат в безопасност на друго отделно устройство.

ЧЗВ

Мога ли да увелича паметта на диска си?

Можете да увеличите размера за съхранение на блокове от контролния панел на Vultr. След това трябва да преоразмерите диска в операционната система, но това е извън обхвата на тази статия.

Мога ли да прикача блоковото хранилище към над два сървъра?

Въпреки че това ръководство е написано за два сървъра (по този начин две блокови устройства за съхранение, прикачени към двата сървъра), но е възможно да вземете това ръководство и да го използвате и за повече от два сървъра. Настройка с над два сървъра/диска може да изглежда така за 6 сървъра, например:

VM: storage1
VM: storage2
VM: storage3
VM: storage4
Block Storage: attached to storage1
Block Storage: attached to storage2
Block Storage: attached to storage3
Block Storage: attached to storage4

Като се има предвид, че всички блокови устройства за съхранение имат капацитет от например 200 GB, ще получите 200 * 4 / 4. С други думи, използваемото пространство винаги е капацитетът на едно блоково устройство за съхранение. Това е така, защото един сървър с прикачено блоково съхранение се третира като "главен" от GlusterFS и се репликира на другите сървъри. Въпреки това, настройката е изградена така, че да може да оцелее без главен сървър, което я прави толкова излишно и надеждно, стабилно решение.