Спільні диски високої доступності з використанням блочного сховища Vultr і GlusterFS

GlusterFS — це файлова система, підключена до мережі, яка ефективно дозволяє використовувати два диски на кількох пристроях у мережі. Ця файлова система ідеально підходить для пропозицій блочного сховища Vultr, оскільки ви можете спільно використовувати диск у мережі, що неможливо з коробки.

З точки зору функцій, розширюваності та надійності, GlusterFS виявився однією з найскладніших і найстабільніших доступних файлових систем.

Коли зміни внесені до диска на одному сервері, вони автоматично реплікуються на інший сервер в режимі реального часу. Щоб досягти цього та слідувати цьому посібнику, вам знадобиться:

• Два екземпляри хмари Vultr, бажано під керуванням однієї операційної системи.
• Два блокових накопичувача однакового розміру.

Замовивши ці два блочні накопичувачі, ви повинні підключити їх до VM 1 і VM 2. Оскільки ми будемо використовувати обидва блочні накопичувачі для однієї файлової системи, розділивши загальний розмір обох дисків на два, ви отримаєте корисну кількість ГБ. Наприклад, якщо у вас є два диска по 100 ГБ, можна буде використовувати 100 ГБ (100 * 2 / 2).

Крім того, обидві віртуальні машини повинні бути в одному місці, щоб вони були в одній приватній мережі. Ми будемо підключатися до серверів, використовуючи їхні внутрішні IP-адреси. Зверніть увагу, що ми видалимо дані на блочному накопичувачі. Переконайтеся, що вони абсолютно нові та неформатовані.

У цьому посібнику ми будемо використовувати storage1і storage2, відповідно, з приватними IP-адресами 10.0.99.10 і 10.0.99.11. Імена ваших серверів та IP-адреси, швидше за все, відрізнятимуться, тому не забудьте змінити їх у процесі налаштування GlusterFS.

Цей посібник був написаний з урахуванням CentOS / RHEL 7. Однак GlusterFS відносно перехресно сумісний з кількома дистрибутивами Linux.

Налаштування GlusterFS

Крок 1. Змініть /etc/hostsфайл

Щоб ми могли швидко підключитися до відповідних екземплярів, ми повинні додати до hostsфайлу імена, які легко запам’ятовуються . Відкрийте /etc/hostsфайл і додайте наступні рядки внизу:

10.0.99.10 storage1
10.0.99.11 storage2

Крок 2: Додайте диск storage1

SSH storage1і виконайте наступні команди. За замовчуванням підключені блочні накопичувачі монтуються як /dev/vdb. Якщо це відрізняється у вашому випадку з будь-якої причини, ви повинні змінити це за допомогою команд нижче.

Відформатуйте диск:

fdisk /dev/vdb

Натисніть «enter» для наступних трьох запитань (щодо розміру розділу тощо, ми хочемо використовувати весь доступний простір на блочних накопичувачах) і напишіть «w», щоб записати ці зміни на диск. Після того, як це було успішно завершено, напишіть:

/sbin/mkfs.ext4 /dev/vdb1

Ми продовжили і створили файлову систему, оскільки Vultr за замовчуванням не створює жодних файлових систем у блочному сховищі.

Далі ми збираємося створити папку, в якій будемо зберігати наші файли. Ви можете змінити це ім’я, але ви не побачите, що воно з’являтиметься часто, тому, щоб усунути складність, я рекомендую залишити його в спокої.

mkdir /glusterfs1

Щоб автоматично підключити диск під час завантаження, відкрийте /etc/fstabта додайте наступний рядок у нижній частині файлу:

/dev/vdb1 /glusterfs1      ext4    defaults        1 2

Нарешті, змонтуйте диск:

mount -a

Монтування залишатиметься постійним під час перезавантажень, тому під час перезавантаження сервера диск буде автоматично підключено знову.

Крок 3: Додайте диск storage2

Тепер, коли диск додано та змонтовано на storage1, нам також потрібно створити диск storage2. Команди майже не відрізняються. Для fdisk, виконайте ті ж дії, що й вище.

fdisk /dev/sdb
/sbin/mkfs.ext4 /dev/sdb1
mkdir /glusterfs2

Відредагуйте /etc/fstabта додайте наступний рядок:

/dev/vdb1 /glusterfs2      ext4    defaults        1 2

Так само, як і на storage1, диск буде автоматично монтуватися під час перезавантажень.

Встановіть диск:

mount -a

Нарешті, давайте перевіримо, чи з’являється розділ:

df -h

Тут ви повинні побачити свій диск. Якщо це не так, спробуйте виконати наведені вище дії.

Крок 4: Установка GlusterFS на storage1іstorage2

Далі нам потрібно встановити GlusterFS. Додайте репозиторій і встановіть GlusterFS:

rpm  -ivh  http://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
wget -P /etc/yum.repos.d http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.5/CentOS/glusterfs-epel.repo
yum -y install glusterfs glusterfs-fuse glusterfs-server

Є ймовірність того, що ви отримаєте помилку, yumоскільки підпис для сховища неправильний. У цьому випадку можна примусово не перевіряти підпис GPG:

yum -y install glusterfs glusterfs-fuse glusterfs-server --nogpgcheck

На обох серверах виконайте такі команди, щоб запустити GlusterFS прямо зараз і запустити його автоматично після перезавантаження:

systemctl enable glusterd.service
systemctl start glusterd.service

Якщо ви використовуєте старішу версію CentOS, ви можете використовувати команди serviceта chkconfig:

chkconfig glusterd on
service glusterd start

Крок 5: Вимкнення брандмауера на storage1іstorage2

Хоча це не найкраще рішення саме по собі, було б гарною ідеєю вимкнути брандмауер, щоб усунути можливі конфлікти із заблокованими портами. Якщо вам не зручно це робити, то сміливо змінюйте правила на свій смак, але через природу GlusterFS я настійно рекомендую відключити брандмауер. Враховуючи, що приватна мережа насправді є приватною на Vultr (і вам не потрібно перекривати інших клієнтів), ви можете просто заблокувати весь вхідний трафік з Інтернету та обмежити дозволені підключення до приватної мережі. Однак вимкнути брандмауер і не змінювати інші конфігурації системи також буде достатньо:

systemctl stop firewalld.service
systemctl disable firewalld.service

Якщо ви використовуєте старішу версію CentOS, яка не підтримує systemctl, використовуйте команди serviceта chkconfig:

service firewalld stop
chkconfig firewalld off

Якщо ви не використовуєте firewalld, спробуйте вимкнути iptables:

service iptables stop
chkconfig iptables off

Крок 6. Додайте сервери до пулу зберігання

Після вимкнення брандмауера ми можемо додати обидва сервери до пулу сховища. Це пул, що складається з усіх доступних сховищ. Виконайте таку команду на storage1:

gluster peer probe storage2

Ця команда додає storage2до власного пулу зберігання. Якщо виконати таку команду на storage2, обидва диски будуть синхронізовані:

gluster peer probe storage1

Після виконання цього на обох серверах ми повинні перевірити стан на обох серверах:

gluster peer status

Обидва сервери повинні показувати стан "Рівноранги: 1". Поширеною помилкою є те, що люди очікують побачити Peers: 2, але, як storage1будуть дивитися з собою storage2і навпаки, вони не дивляться самі на себе. Тому Peers: 1це те, що нам потрібно.

Крок 7. Створення спільного диска storage1

Тепер, коли обидва сервери можуть підключатися один до одного через GlusterFS, ми збираємося створити спільний диск.

На storage1, виконайте:

gluster volume create mailrep-volume replica 2  storage1:/glusterfs1/files  storage2:/glusterfs2/files force

Том створено. У GlusterFS вам потрібно «запустити» том, щоб він активно використовувався на кількох пристроях. Давайте почнемо:

gluster volume start mailrep-volume

Далі виберіть папку, яка має бути на тому та реплікуватися на обох серверах. У цьому підручнику ми будемо використовувати папку /var/files. Природно, це може бути що завгодно. Створіть його storage1 лише на :

mkdir /var/files

Далі монтуємо:

mount.glusterfs storage1:/mailrep-volume /var/files/

Оновіть, /etc/fstabщоб диск автоматично підключався під час завантаження. Додайте наступне:

storage1:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Перевстановіть диск:

mount -a

Крок 8. Створення спільного диска storage2

Тепер, коли ми створили спільний диск на storage1, нам також потрібно створити його storage2. Створіть папку з тим самим розташуванням/шляхом та ім’ям:

mkdir /var/files
mount.glusterfs storage2:/mailrep-volume /var/files/

Так само, як і на storage1, додайте наступний рядок до /etc/fstab:

storage2:/mailrep-volume /var/files glusterfs defaults,_netdev 0 0

Перевстановіть диск:

mount -a

Крок 9. Перевірте спільне сховище

Перейдіть до /var/filesпапки storage1та створіть файл:

cd /var/files
touch created_on_storage1

Далі перейдіть до storage2сервера. Виконайте, ls -laі ви повинні побачити файл created_on_storage1.

На storage2, перейдіть до /var/filesпапки та створіть файл:

cd /var/files
touch created_on_storage2

Поверніться до storage1та виконайте ls -la /var/files. Ви повинні побачити, що файл created_on_storage2з'явиться тут.

Крок 10. Перезавантажте всі сервери (необов'язково)

Щоб перевірити, чи ваше налаштування залишатиметься постійним під час перезавантажень, як найкраща практика, вам слід перезавантажити всі сервери. Як уже згадувалося, вам слід дочекатися, поки один сервер запуститься, а потім перезавантажити інший, щоб спільний диск був автоматично підключений.

storage1Спочатку перезавантажте , дочекайтеся, поки він запрацює, а потім перезавантажте storage2. Тепер увійдіть і виконайте на обох серверах:

cd /var/files
ls -la

Тепер ви повинні побачити обидва файли. Обов’язково почніть роботу без будь-яких файлів на томі, тому видаліть тестові файли, які ми створили. Ви можете зробити це на storage1, storage2або на обох. Зміни будуть миттєво відтворені:

cd /var/files
rm created_on_storage1
rm created_on_storage2

Ви повинні мати ідентичний спільний том на обох серверах, незалежно від дій на обох томах.

Тепер ви налаштували повноцінну установку GlusterFS зі 100 ГБ (або більше) корисного простору. Якщо в майбутньому вам знадобиться більше, налаштування можна легко масштабувати, щоб додати більше потужності та/або більше серверів, якщо цього вимагатиме ваше робоче навантаження.

Дякую, що читаєте!

Важлива примітка щодо перемонтування

GlusterFS дозволяє підтримувати ваші дані в актуальному стані на двох дисках. Однак слід зауважити, що коли обидва сервери перезавантажуються одночасно , вам потрібно буде примусово змонтувати диски на обох серверах. Ви повинні примусово монтувати вручну, виконавши таку команду:

gluster volume start mailrep-volume force

Це тому, що один із серверів діє як сервер, а інший — як клієнт. Хоча на практиці різниця помітна не дуже легко, це означає, що коли вам потрібно перезавантажити обидва сервери, вам слід перезавантажити один, почекати, поки він не запрацює, а потім завантажити інший.

Важлива примітка щодо резервного копіювання

Незважаючи на те, що ваші дані будуть репліковані на два диски, ви повинні реплікувати ваші дані принаймні тричі. Хоча ваші дані краще захищені від пошкодження даних тощо, ви повинні пам’ятати, що зміни відбуваються миттєво, і ви жодним чином не будете захищені від людських помилок. Коли ви видалите всі файли на одному диску, ці зміни будуть негайно репліковані на інший диск, що означає, що ваші дані будуть стерті на обох екземплярах.

На щастя, існує кілька підходів, щоб уникнути цього. По-перше, я рекомендую ввімкнути резервне копіювання у вашому хмарному екземплярі. Хоча ці резервні копії не включають дані в блочному сховищі, вони захистять дані на самому екземплярі.

Коли справа доходить до резервного копіювання даних на самому блочном сховищі, я рекомендую створити окремий екземпляр (наприклад, план SATA), щоб ви могли запускати резервне копіювання з одного з двох підключених серверів, наприклад, щовечора. Таким чином, ваші дані будуть в безпеці на іншому окремому пристрої.

FAQ

Чи можу я збільшити сховище на диску?

Ви можете збільшити розмір сховища блоку з панелі керування Vultr. Після цього вам слід змінити розмір диска всередині операційної системи, але це виходить за рамки цієї статті.

Чи можу я приєднати блочне сховище до двох серверів?

Хоча цей посібник був написаний для двох серверів (тому два блокових накопичувача, підключені до обох серверів), але можна взяти цей посібник і використовувати його також для двох серверів. Налаштування з більш ніж двома серверами / дисками може виглядати так для 6 серверів, наприклад:

VM: storage1
VM: storage2
VM: storage3
VM: storage4
Block Storage: attached to storage1
Block Storage: attached to storage2
Block Storage: attached to storage3
Block Storage: attached to storage4

Враховуючи, що всі блочні накопичувачі мають ємність, наприклад, 200 ГБ, ви отримаєте 200 * 4 / 4. Іншими словами, корисний простір завжди є ємністю одного блочного накопичувача. Це тому, що один сервер із підключеним блочним сховищем розглядається GlusterFS як «головний» і реплікується на інші сервери. Однак установка розроблена таким чином, щоб вона могла працювати без головного сервера, що робить її таким надлишковим, надійним і стабільним рішенням.