Suite \u00e0 la migration de la majorit\u00e9 de mon nuage de services vers mon r\u00e9seau en passant \u00e0 l’auto-h\u00e9bergement, la question de la sauvegarde des donn\u00e9es est devenue cruciale. C\u00f4t\u00e9 cahier des charges, les principaux crit\u00e8res retenus \u00e9taient les suivants :<\/p>\n
Apr\u00e8s de nombreuses recherches, j’ai d\u00e9cid\u00e9 d’utiliser duplicity pour r\u00e9aliser la sauvegarde et le service hubiC d’OVH pour le stockage des donn\u00e9es sauvegard\u00e9es. Voici donc la proc\u00e9dure utilis\u00e9e pour mettre en place une sauvegarde incr\u00e9mentale quotidienne, avec sauvegarde compl\u00e8te \u00e0 intervalle r\u00e9gulier.<\/p>\n
Pour commencer, il convient d’installer les composants n\u00e9cessaires:<\/p>\n
sudo aptitude install duplicity python-pip python-dev gcc\nsudo pip2 install pyrax<\/pre>\nAyant d\u00e9cid\u00e9 d’envoyer les sauvegardes dans mon espace hubiC, et afin de permettre \u00e0 duplicity de communiquer avec hubiC, il faut au pr\u00e9alable autoriser l’application dans l’interface web du service. On va donc cr\u00e9er une nouvelle application, renseigner un nom, duplicity par exemple, et un domaine de redirection valant http:\/\/localhost\/. On note ensuite les param\u00e8tres \u00ab\u00a0Client ID\u00a0\u00bb et \u00ab\u00a0Client secret\u00a0\u00bb qui serviront pour param\u00e9trer la connexion \u00e0 hubiC sur la machine source.<\/p>\n
Le param\u00e9trage s’effectue dans le fichier
~\/.hubic_credentials<\/code> :<\/p>\n[hubic]\nemail = your_email\npassword = your_password\nclient_id = api_client_id\nclient_secret = api_secret_key\nredirect_uri = http:\/\/localhost\/<\/pre>\nOn limite ensuite les droits li\u00e9s au fichier:<\/p>\n
chown 600 ~\/.hubic_credentials<\/pre>\nA ce stade, on peut faire un premier test afin de valider la configuration, par exemple, sauvegarder le r\u00e9pertoire test dans le conteneur test qui sera accessible \u00e0 l’adresse suivante:
https:\/\/hubic.com\/home\/browser\/#test<\/code>.<\/p>\nduplicity test cf+hubic:\/\/test<\/pre>\nPour lister le contenu du r\u00e9pertoire distant, la commande d\u00e9di\u00e9e est:<\/p>\n
duplicity list-current-files cf+hubic:\/\/test<\/pre>\n<\/p>\n
Pour la gestion des op\u00e9rations de sauvegarde, j’utilise un petit script sh, adaptation de celui de David Mercereau:<\/p>\n
#!\/bin\/bash\n\n###################################\n## Backup sur HubiC avec duplicity\n# Script sous licence BEERWARE\n# Version 0.5.0 11\/2017\n# Adapt\u00e9 de :\n# http:\/\/david.mercereau.info\/backup-chiffre-avec-duplicity-sur-hubic\n###################################\n\nset -eu\n\n##### Param\u00e8tres\n\n# Nom du d\u00e9p\u00f4t\nCONTAINER=\"monContaineur\"\n# Liste \u00e0 sauvegarder (voir le man duplicity avec le filelist)\nDUPLICITYFILELIST=\"\/chemin\/vers\/backup.filelist\"\n# Passphrase pour le chiffrement\nPASSPHRASE=\"maSuperPassphrase\"\n# Fr\u00e9quence des sauvegardes compl\u00e8tes\nFULLIFOLDERTHAN=\"1W\"\n# R\u00e9tention des sauvegardes\nRETENTION=\"1M\"\n# Log d'erreur\nLOGERROR=\"\/chemin\/vers\/fichierDeLog.log\"\n# Bin de duplicity\nDUPLICITY_BIN=\"\/usr\/bin\/duplicity\"\n# Email pour les erreurs (0 pour d\u00e9sactiver)\nEMAIL=\"monMail@domaine.extension\"\n# Envoyer un rapport par email sur l'\u00e9tat des backup\nRAPPORT=0\n# Log d'erreur\nexec 2> ${LOGERROR}\n\n##### D\u00e9but du script\n\nfunction cleanup {\n echo \"exit...\"\n unset PASSPHRASE\n grep -v \"has been deprecated\" ${LOGERROR} > ${LOGERROR}.tmp\n mv ${LOGERROR}.tmp ${LOGERROR}\n if [ \"`stat --format %s ${LOGERROR}`\" != \"0\" ] && [ \"$EMAIL\" != \"0\" ] ; then\n cat ${LOGERROR} | mail -s \"$0 - Error\" ${EMAIL}\n fi\n}\ntrap cleanup EXIT\n\n# Gentil avec le syst\u00e8me\nionice -c3 -p$ &>\/dev\/null\nrenice -n 19 -p $ &>\/dev\/null\n\nif ! [ -f ${DUPLICITYFILELIST} ] ; then\n echo \"Aucun fichier filelist : ${DUPLICITYFILELIST}\"\n exit 1\nfi\n\nexport PASSPHRASE\n\n# Backup\n${DUPLICITY_BIN} --full-if-older-than ${FULLIFOLDERTHAN} \/ cf+hubic:\/\/${CONTAINER} --include-filelist ${DUPLICITYFILELIST} --exclude '**'\n\n# Suppression des vieux backups\n${DUPLICITY_BIN} remove-older-than ${RETENTION} cf+hubic:\/\/${CONTAINER} --force\n\n# Rapport sur le backup\nif [ \"$RAPPORT\" != \"0\" ] && [ \"$EMAIL\" != \"0\" ] ; then\n ${DUPLICITY_BIN} collection-status cf+hubic:\/\/${CONTAINER} | mailq -s \"$0 - collection-status\" ${EMAIL}\nfi\n\nunset PASSPHRASE\n\nexit 0<\/pre>\nOn n’oublie pas d’adapter les param\u00e8tres et de rendre le script ex\u00e9cutable:<\/p>\n
chmod u+x backup-to-hubic.sh<\/pre>\nOn ajoute \u00e9galement un fichier
backup.filelist<\/code> qui contient l’ensemble des chemins des dossiers \u00e0 sauvegarder. Le fichier est de la forme:<\/p>\n\/var\/backups\/mysql\n- \/var\/www\/mon-site\/dossier-a-ignorer\/cache\n\/var\/www\/mon-site<\/pre>\nL’\u00e9tat de la sauvegarde peut \u00eatre v\u00e9rifi\u00e9 avec la commande:<\/p>\n
duplicity collection-status cf+hubic:\/\/test<\/pre>\nAfin d’ex\u00e9cuter le script \u00e0 intervalles r\u00e9gulier, on ajoute une ligne au cron (
crontab -e<\/code>):<\/p>\n0 0 * * * \/chemin\/vers\/backup-to-hubic.sh<\/pre>\nA ce stade, les diff\u00e9rents dossiers list\u00e9s sont sauvegard\u00e9s vers hubiC de mani\u00e8re incr\u00e9mentale et chiffr\u00e9e. Des sauvegardes compl\u00e8tes sont effectu\u00e9es p\u00e9riodiquement et nettoy\u00e9es automatiquement \u00e0 l’issue de la dur\u00e9e de conservation configur\u00e9e. Par ailleurs, on n’oubliera pas de sauvegarder la passphrase utilis\u00e9e pour chiffrer les donn\u00e9es dans un gestionnaire de mots de passe, afin d’\u00eatre en mesure de reconfigurer duplicity sur une autre machine et de r\u00e9cup\u00e9rer les fichiers en cas de crash complet de la machine source (ce que je ne souhaite \u00e0 personne).<\/p>\n
Pour finir voici la liste des articles utilis\u00e9s pour impl\u00e9menter cette solution de sauvegarde:<\/p>\n
\n
- \n
\n
- Backup chiffr\u00e9 avec duplicity sur HubiC<\/em><\/a> de David Mercereau<\/li>\n
- PluXML: Sauvegardes vers Hubic<\/a> sur Tech-Off’s Blog<\/li>\n
- DuplicityBackupHowto<\/a> sur la documentation Ubuntu<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"
Suite \u00e0 la migration de la majorit\u00e9 de mon nuage de services vers mon r\u00e9seau en passant \u00e0 l’auto-h\u00e9bergement, la question de la sauvegarde des donn\u00e9es est devenue cruciale. C\u00f4t\u00e9 cahier des charges, les principaux crit\u00e8res retenus \u00e9taient les suivants : Sauvegarde externe g\u00e9ographiquement Automatique Chiffr\u00e9e Apr\u00e8s de nombreuses recherches, j’ai d\u00e9cid\u00e9 d’utiliser duplicity pour … Continuer la lecture de « Sauvegarde distante avec duplicity »<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[337,316,31,415],"tags":[357,358,268],"class_list":["post-2929","post","type-post","status-publish","format-standard","hentry","category-auto-hebergement","category-configuration","category-installation","category-sauvegarde","tag-duplicity","tag-hubic","tag-sauvegarde"],"_links":{"self":[{"href":"https:\/\/www.unicoda.com\/index.php?rest_route=\/wp\/v2\/posts\/2929","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.unicoda.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.unicoda.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.unicoda.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.unicoda.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=2929"}],"version-history":[{"count":10,"href":"https:\/\/www.unicoda.com\/index.php?rest_route=\/wp\/v2\/posts\/2929\/revisions"}],"predecessor-version":[{"id":3485,"href":"https:\/\/www.unicoda.com\/index.php?rest_route=\/wp\/v2\/posts\/2929\/revisions\/3485"}],"wp:attachment":[{"href":"https:\/\/www.unicoda.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=2929"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.unicoda.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=2929"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.unicoda.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=2929"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}