Présentation
Un fournisseur de streaming avait accumulé des dizaines d'instances MySQL réparties entre plusieurs équipes, sans standard cohérent de réplication, de sauvegarde ou de configuration. Personne ne pouvait dire avec certitude quelles bases pouvaient être restaurées, ni en combien de temps. AceMQ a été missionné pour dresser l'état des lieux réel.
Défi
La croissance non planifiée avait engendré une dérive de configuration significative : des instances aux paramètres de binary log différents, des réplicas configurés sans GTID et des jobs de sauvegarde qui signalaient un succès tout en produisant des artefacts que personne n'avait jamais restaurés. Pour auditer cette situation, il fallait vérifier les affirmations plutôt que les recueillir.
Environnement
Parc MySQL sur AWS couvrant plusieurs équipes et plusieurs comptes, qui sert les services de catalogue de contenus et de gestion des droits.
Approche
AceMQ a inventorié chaque instance avec sa configuration d'exécution réelle, et non sa configuration théorique, puis a testé les éléments qui comptaient. Les sauvegardes ont été restaurées et chronométrées. Les chemins de failover ont été retracés pour vérifier qu'ils aboutissaient à quelque chose d'utile.
Solution
- Constitution d'un inventaire complet des instances, avec une configuration d'exécution relevée directement sur les serveurs
- Identification des dérives de configuration portant sur le binary logging, le mode GTID, les paramètres de durabilité et les jeux de caractères
- Restaurations de test chronométrées à partir des sauvegardes existantes pour établir les temps de reprise réels et révéler les artefacts inutilisables
- Cartographie de la topologie de réplication et des chemins de failover pour repérer les réplicas qui ne pouvaient pas réellement être promus
- Revue du routage des connexions et de la configuration des proxys à la recherche de points de défaillance uniques
- Livraison d'un socle de standards et d'un plan priorisé pour remettre en conformité les instances ayant dérivé
Résultat obtenu
Le fournisseur dispose désormais d'un inventaire exact, avec des temps de reprise étayés par de vraies restaurations plutôt que par le statut des jobs de sauvegarde. Plusieurs jeux de sauvegarde qui signalaient un succès se sont révélés impossibles à restaurer, ce qui a été corrigé avant qu'on en ait besoin.