{"id":4455,"date":"2021-03-10T20:00:00","date_gmt":"2021-03-10T19:00:00","guid":{"rendered":"https:\/\/www.unicoda.com\/?p=4455"},"modified":"2021-03-10T19:42:43","modified_gmt":"2021-03-10T18:42:43","slug":"unicoda-a-brule","status":"publish","type":"post","link":"https:\/\/www.unicoda.com\/?p=4455","title":{"rendered":"Unicoda a br\u00fbl\u00e9 !"},"content":{"rendered":"\n

Amis lecteurs bonsoir !<\/p>\n\n\n\n

\u00c9trange journ\u00e9e que cette journ\u00e9e du 10 mars 2021, car, s’il y a bien un risque qu’on envisage pas imm\u00e9diatement pour son serveur, lorsqu’on fait la liste des p\u00e9rils qui le guettent, c’est celui de l’incendie. Eh oui, en ce mercredi 10 mars 2021, Unicoda, o\u00f9 plut\u00f4t son serveur de r\u00e9sidence, est parti en fum\u00e9e avec le reste des serveurs et des sites h\u00e9berg\u00e9s dans le datacenter SBG2 d’OVH \u00e0 Strasbourg.<\/p>\n\n\n\n

Pour Unicoda, plus de peur que de mal, puisque si vous lisez ces lignes, c’est que nous sommes (d\u00e9j\u00e0) de retour. C’est bien s\u00fbr un \u00e9v\u00e9nement dont tout le monde se passerait. J’ai pu voir quelques annonces de donn\u00e9es irr\u00e9m\u00e9diablement perdues, par exemple, du c\u00f4t\u00e9 des serveurs du jeu Rust. Un \u00e9v\u00e9nement qui d\u00e9montre encore une fois, l’importance des sauvegardes, et que, m\u00eame en environnement contr\u00f4l\u00e9, personne n’est \u00e0 l’abri.<\/p>\n\n\n\n

Voici donc un petit retour pour d\u00e9crire la fa\u00e7on dont nous avons r\u00e9agi \u00e0 cet incident.<\/p>\n\n\n\n

Tout commence ce matin vers 10h, lorsque mon fr\u00e8re Mathieu m’appelle au t\u00e9l\u00e9phone, en me demandant o\u00f9 est h\u00e9berg\u00e9 Unicoda dans les infrastructures OVH. Il continue en m’annon\u00e7ant qu’il vient de lire qu’un incendie s’est d\u00e9clar\u00e9 dans le datacenter SBG2, que tout SBG est \u00e0 l’arr\u00eat et que Unicoda ne r\u00e9pond plus. Je lui confirme qu’Unicoda est bien h\u00e9berg\u00e9 \u00e0 Strasbourg dans SBG2 et v\u00e9rifie rapidement la connexion au serveur (en \u00e9chec bien s\u00fbr). V\u00e9rification dans mes mails, pas de rapport journalier de sauvegarde ce matin, le feu s’\u00e9tant d\u00e9clar\u00e9 peu avant le processus de sauvegarde automatique.<\/p>\n\n\n\n

Je prends ensuite un peu de temps pour r\u00e9fl\u00e9chir. Je suis \u00e0 80% s\u00fbr qu’Unicoda \u00e9tait h\u00e9berg\u00e9 dans SBG2, rien dans la console d’administration d’OVH ne permet de valider l’information, rien sur les factures. Le rapport de sauvegarde du 9 mars indique qu’il s’est termin\u00e9 avec succ\u00e8s. Enfin, SBG est \u00e0 l’arr\u00eat pour plusieurs jours, voir semaine, il faut donc pr\u00e9parer le red\u00e9ploiement d’Unicoda sur un nouveau serveur. Profitant d’une pause dans ma matin\u00e9e de travail, je commande donc un nouveau VPS OVH dans le datacenter de Gravelines.<\/p>\n\n\n\n

Arrive le temps de la pause m\u00e9ridienne. Le VPS n’\u00e9tant toujours pas disponible, je commande un VPS chez Hetzner en Allemagne, VPS factur\u00e9 \u00e0 l’heure avec un plafond mensuel, extr\u00eamement pratique pour effectuer des tests de courtes dur\u00e9es. Livraison en moins d’une minute. J’ouvre le d\u00e9p\u00f4t contenant mon script de d\u00e9ploiement automatis\u00e9 ansible, change les DNS pour pointer vers la nouvelle machine et d\u00e9marre l’ex\u00e9cution. Quelques erreurs du fait d’une r\u00e9organisation r\u00e9cente de l’ensemble de mes r\u00f4les ansible (et dont les tests devaient avoir lieu dans les prochains mois) interrompront deux fois la r\u00e9installation. Au troisi\u00e8me essai, apr\u00e8s quelques dizaines de minutes, Unicoda est \u00e0 nouveau accessible.<\/p>\n\n\n\n

Quels enseignements retenir de cet incident ?<\/p>\n\n\n\n

Comme \u00e9nonc\u00e9 d\u00e9j\u00e0 ici: sauvegarder, sauvegarder et sauvegarder !! Je suis une nouvelle fois tr\u00e8s satisfait par la solution de sauvegarde et de d\u00e9ploiement automatique que j’ai mise en place pour Unicoda et qui est le r\u00e9sultat de plusieurs ann\u00e9es d’am\u00e9liorations. N\u00e9anmoins, il serait bon d’ajouter un deuxi\u00e8me emplacement distant de stockage des sauvegardes. En effet, si par un hasard extraordinaire, un probl\u00e8me similaire \u00e9tait arriv\u00e9 au datacenter stockant la sauvegarde chiffr\u00e9e, c’e\u00fbt \u00e9t\u00e9 retour \u00e0 la sauvegarde enregistr\u00e9e sur mon poste local et pouvant parfois remonter \u00e0 plusieurs semaines. Un emplacement distant pour les sauvegardes, c’est bien, deux, c’est mieux.<\/p>\n\n\n\n

Deuxi\u00e8me point \u00e0 noter, en cas de r\u00e9organisation complexe des scripts de d\u00e9ploiement automatique, il aurait \u00e9t\u00e9 utile de conserver une copie du d\u00e9p\u00f4t avant r\u00e9organisation, lorsque les scripts fonctionnaient sans erreurs et avait \u00e9t\u00e9 test\u00e9. Ainsi, on s’\u00e9vite quelques corrections en \u00e9tat de stress et press\u00e9 par le temps. Cela est bien entendu variable en fonction du service affect\u00e9, dans le cas d’Unicoda, je ne suis pas \u00e0 la minute pr\u00e8s, bien que j’appr\u00e9cie d’avoir le moins de temps d’indisponibilit\u00e9 possible.<\/p>\n\n\n\n

Enfin, j’ai apport\u00e9 des modifications sur le Time To Live (TLL) du champ A des DNS d’Unicoda, entr\u00e9e DNS responsable de la redirection vers le serveur. J’avais jusqu’\u00e0 pr\u00e9sent laiss\u00e9 ce champ \u00e0 la valeur par d\u00e9faut dans l’interface \u00e0 savoir 86400 secondes soit 1 jour. Si cela ne pose gu\u00e8re de probl\u00e8mes dans le cas d’une migration programm\u00e9e, o\u00f9 l’ancien serveur continue de fonctionner quelques jours, c’est plus emb\u00eatant dans le cas d’un incident comme celui d’aujourd’hui, o\u00f9 on voudra que la modification DNS soit propag\u00e9e le plus rapidement possible une fois le serveur de remplacement op\u00e9rationnel. J’ai donc choisi une valeur de 7200 secondes (2 heures) de TTL, ce qui me semble \u00eatre un bon compromis.<\/p>\n\n\n\n

En conclusion, Unicoda s’en sort bien, plus de peur que de mal. On a beau avoir un processus de sauvegarde, des scripts de d\u00e9ploiement automatique, un l\u00e9ger doute subsiste toujours. Cet incident a permis de v\u00e9rifier, en dehors d’un \u00e9v\u00e9nement programm\u00e9, que les processus mis en place fonctionnent: une tr\u00e8s bonne chose. Il me reste \u00e0 v\u00e9rifier dans les prochains jours que la sauvegarde s’effectue correctement sur ce nouveau serveur et, dans les prochaines semaines, \u00e0 migrer une nouvelle fois Unicoda pour un retour chez OVH. A tous mes camarades informaticiens ayant perdu un serveur dans cet incendie: courage !<\/p>\n\n\n\n

P.S. Pour suivre l’avancement de la remise en service, voici les tickets li\u00e9s \u00e0 l’incident:<\/p>\n\n\n\n