Створення інкрементальних і зашифрованих резервних копій з двома функціями

Огляд

Хоча Vultr має систему резервного копіювання для образів усієї системи, вона працює на рівні блоків і вимагає відновлення резервної копії на віртуальній машині, перш ніж дані можна буде відновити. Крім того, резервні копії зберігаються лише протягом короткого проміжку часу і не надають справжнього інкрементного резервного копіювання.

Enter Duplicity – Duplicity ґрунтується на легендарному rsync і надає можливість зберігати додаткові резервні копії разом із шифруванням даних у стані спокою через GPG. Він сумісний із Posix і передає лише дельти між запусками резервного копіювання, таким чином зменшуючи загальну вимогу до пропускної здатності.

Налаштування середовища

Термінологія

• Джерельний хост - сервер, на якому буде створено резервну копію даних. Для цього підручника він має IP-адресу: 10.1.10.1
• Хост резервного копіювання – сервер призначення для резервних копій. Для цього підручника він має IP-адресу: 10.1.10.2
• /backupdir – вихідний каталог на вихідному хості, який використовується для резервного копіювання в цьому підручнику. Ви можете змінити це відповідно до свого середовища.
• /destdir – каталог призначення на хості резервного копіювання, який використовується для резервного копіювання в цьому підручнику. Ви можете змінити це відповідно до свого середовища.
• Повна резервна копія – вся копія вихідного набору даних.
• Інкрементальне резервне копіювання – копія всіх змін, внесених після останнього резервного копіювання.

Встановлення Duplicity

Ubuntu 14.04:

sudo apt-get update
sudo apt-get install duplicity python-paramiko

CentOS (потрібен EPEL):

sudo yum install duplicity python-paramiko

Ubuntu 12.04/Debian 7:

sudo apt-get update 
sudo apt-get install ncftp python-paramiko python-pycryptopp lftp python-boto python-dev librsync-dev
wget https://launchpad.net/duplicity/0.7-series/0.7.02/+download/duplicity-0.7.02.tar.gz
tar xzvf duplicity*
cd duplicity*
sudo python setup.py install

Нам доводиться встановлювати з вихідного коду, оскільки пакет Duplicity в Debian 7 і Ubuntu 12.04 зламаний через зміну в бібліотеці бекенда SSH.

Двічі перевірте, чи встановлено Duplicity, запустивши:

duplicity -v

Він повинен повернути такий вихід (версія може відрізнятися):

duplicity 0.6.18

Налаштування автентифікації без ключа для SSH

Наступним кроком є ​​налаштування автентифікації на основі сертифікатів для SSH між хостом резервного копіювання та вихідним хостом. Це дозволить вихідному серверу перейти по SSH до хосту резервного копіювання, не вводячи парольну фразу. У Vultr є чудова стаття, яка пояснює, як це зробити: Як створити ключі SSH .

Резервні копії

Запуск першої (повної) резервної копії

Давайте запустимо повне резервне копіювання! Це надішле повну копію даних з вихідного сервера до місця призначення.

duplicity full -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Ви можете додати додаткові папки, включивши кілька --include="[dir]"операторів.

В --no-encryptionвказує , що дані не будуть зашифровані в пункті призначення. Дані будуть зашифровані під час транспортування, коли вони проходять через тунель SSH.

--exclude="**" /Опція трюк для резервного копіювання всього , що тільки в списку включаються (і нічого більше).

Запуск інкрементного резервного копіювання

Запустити інкрементальне резервне копіювання дуже просто - просто змініть fullпрапорець на incrementalпрапорець.

duplicity incremental -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Автоматизація

Пишіть автоматизовані скрипти

Запускати ці команди щоразу, коли вам потрібна резервна копія, дуже важко. А що, якби у нас були сценарії, які б обробляли це за нас?

Повний сценарій резервного копіювання

Виконайте команду.

nano /usr/local/bin/backup-full

Додайте наступний вміст.

#!/bin/bash
duplicity full -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Сценарій інкрементного резервного копіювання

nano /usr/local/bin/backup-incremental

Додайте наступний вміст.

#!/bin/bash
duplicity incremental -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Зробіть скрипти виконуваними

Щоб зробити скрипти виконуваними, виконайте таку команду.

chmod +x /usr/local/bin/backup-*

Тепер ви можете виконати резервне копіювання, запустивши backup-fullі backup-incrementalз оболонки. Дуже здорово!

Налаштування cron

Давайте зробимо резервне копіювання автоматично! Налаштувавши cron для виконання зазначених вище сценаріїв у визначений час, ми можемо переконатися, що резервне копіювання виконується через регулярні проміжки часу.

Виконайте таку команду.

crontab -e

Додайте наступне в нижню частину файлу.

10 01 * * 1,2,3,4,5,6 backup-incremental
10 01 * * 7 backup-full

Повне резервне копіювання буде виконуватися щонеділі о 1:10, а також поетапне резервне копіювання через день о 1:10.

Реставрація

Годзілла знищив Сіетл, і ми повинні мати можливість повернути дані з резервного VPS у Нью-Йорку!

duplicity --no-encryption --file-to-restore / ssh://user@backupserver:22/destdir/

Якщо нам потрібно відновити дані 3-денної давності:

duplicity --no-encryption -t 3D --file-to-restore / ssh://user@backupserver:22/destdir/

У -t 3Dзасобі варіанти відновлення резервної копії з трьох днів назад. Подібні варіанти, як -t 1M(за місяць тому) або -t 5H(за 5 годин тому), також працюють.