Създаване на инкрементални и криптирани архиви с Duplicity

Общ преглед

Въпреки че Vultr има система за архивиране на цели образи на системата, това работи на ниво блок и изисква архивирането да бъде възстановено на VM, преди данните да могат да бъдат възстановени. Освен това резервните копия се съхраняват само за кратък период от време и не предоставят истинско решение за постепенно архивиране.

Enter Duplicity - Duplicity се основава на легендарния rsync и предоставя възможност за съхраняване на инкрементални архиви заедно с криптиране на данните в покой чрез GPG. Той е съвместим с Posix и прехвърля само делта между архивирането, като по този начин намалява общото изискване за честотна лента.

Създаване на среда

Терминология

• Изходен хост - Сървър, който ще има архивирани данни. За този урок той има IP адрес: 10.1.10.1
• Резервен хост – Целеви сървър за архивиране. За този урок той има IP адрес: 10.1.10.2
• /backupdir - Изходна директория на изходния хост, използвана за архивиране в този урок. Можете да промените това, за да съответства на вашата среда.
• /destdir – Целева директория на хост за архивиране, използвана за архивиране в този урок. Можете да промените това, за да съответства на вашата среда.
• Пълно архивиране - Цялото копие на изходния набор от данни.
• Инкрементално архивиране – Копие на всички промени, направени след последното архивиране.

Инсталиране на Duplicity

Ubuntu 14.04:

sudo apt-get update
sudo apt-get install duplicity python-paramiko

CentOS (изисква EPEL):

sudo yum install duplicity python-paramiko

Ubuntu 12.04/Debian 7:

sudo apt-get update 
sudo apt-get install ncftp python-paramiko python-pycryptopp lftp python-boto python-dev librsync-dev
wget https://launchpad.net/duplicity/0.7-series/0.7.02/+download/duplicity-0.7.02.tar.gz
tar xzvf duplicity*
cd duplicity*
sudo python setup.py install

Трябва да инсталираме от източник, тъй като пакетът Duplicity в Debian 7 и Ubuntu 12.04 са повредени поради промяна в бекенд SSH библиотеката.

Проверете два пъти дали Duplicity е инсталиран, като изпълните:

duplicity -v

Той трябва да върне следния изход (версията може да е различна):

duplicity 0.6.18

Настройване на удостоверяване без ключ за SSH

Следващата стъпка е да настроите удостоверяване, базирано на сертификати за SSH между резервния хост и изходния хост. Това ще позволи на изходния сървър да SSH към хоста за архивиране, без да въвежда парола. Vultr има страхотна статия, която обяснява как да направите това: Как да генерирам SSH ключове .

Резервни копия

Изпълнение на първото (пълно) архивиране

Нека изпълним пълно архивиране! Това ще изпрати пълно копие на данните от изходния сървър до местоназначението.

duplicity full -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Можете да добавите допълнителни папки, като включите множество --include="[dir]"изрази.

На --no-encryptionуточнява, че данните не са, за да бъдат криптирани на местоназначението. Данните ще бъдат криптирани по време на транспортиране, докато преминават през SSH тунела.

Най --exclude="**" /вариант е трик да архивирате всичко, което е само в списък (и нищо друго), включват.

Изпълнение на инкрементално архивиране

Изпълнението на инкрементално архивиране е много просто - просто променете fullфлага на incrementalфлага.

duplicity incremental -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Автоматизация

Пишете автоматизирани скриптове

Да се ​​налага да изпълнявате тези команди всеки път, когато имате нужда от резервно копие, е трудно – какво ще стане, ако имаме скриптове, които да се справят вместо нас?

Пълен скрипт за архивиране

Изпълнете командата.

nano /usr/local/bin/backup-full

Добавете следното съдържание.

#!/bin/bash
duplicity full -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Инкрементален скрипт за архивиране

nano /usr/local/bin/backup-incremental

Добавете следното съдържание.

#!/bin/bash
duplicity incremental -v --no-encryption --include="/sourcedir/" --exclude="**" /  ssh://user@backupserver:22/destdir/

Направете скриптовете изпълними

За да направите скриптовете изпълними, изпълнете следната команда.

chmod +x /usr/local/bin/backup-*

Сега можете да направите резервно копие, като стартирате backup-fullи backup-incrementalот обвивката. Много готино!

Настройка на cron

Нека направим архивирането автоматично! Като настроим cron да изпълнява горните скриптове в определено време, можем да се уверим, че архивирането се извършва на редовни интервали.

Изпълнете следната команда.

crontab -e

Добавете следното в долната част на файла.

10 01 * * 1,2,3,4,5,6 backup-incremental
10 01 * * 7 backup-full

Това ще изпълнява пълно архивиране всяка неделя в 1:10 сутринта и ще изпълнява постепенни архиви през ден в 1:10 сутринта.

Възстановяване

Годзила унищожи Сиатъл и трябва да можем да върнем данните от резервния VPS в Ню Йорк!

duplicity --no-encryption --file-to-restore / ssh://user@backupserver:22/destdir/

Ако трябва да възстановим данни от преди 3 дни:

duplicity --no-encryption -t 3D --file-to-restore / ssh://user@backupserver:22/destdir/

В -t 3Dсредствата опция за възстановяване на резервно копие от преди три дни. Подобни опции като -t 1M(за един месец) или -t 5H(за преди 5 часа) също работят.