Présentation
Lors d'un test de PRA, un prestataire de services d'assurance a découvert que ses snapshots OpenSearch ne se restauraient pas proprement. Plusieurs index revenaient au rouge et la restauration s'interrompait : son plan de reprise documenté ne fonctionnait tout simplement pas.
Défi
Le dépôt de snapshots avait été reconfiguré à un moment donné sans étape de vérification du dépôt, si bien qu'une partie des fichiers de segments était inaccessible depuis le chemin actuel du bucket. Les restaurations semblaient démarrer normalement, puis échouaient sur certains shards. Pour ne rien arranger, le domaine cible tournait sur une version du moteur plus récente que plusieurs des anciens snapshots : certains index sortaient de la plage de restauration supportée et ne pouvaient pas du tout être restaurés directement.
Environnement
Domaine OpenSearch managé sur AWS, snapshots stockés dans un stockage objet, rétention de plusieurs années sur les index d'audit.
Approche
Nous avons d'abord considéré le dépôt comme suspect et l'avons vérifié avant toute nouvelle tentative de restauration. Une fois les snapshots intacts identifiés, nous avons reconstitué l'ensemble récupérable, restauré les index trop anciens via une version intermédiaire, puis reconstruit la configuration du dépôt pour que la vérification fasse partie du cycle de snapshots et ne soit plus réservée aux tests de PRA.
Solution
- Vérification de chaque dépôt enregistré pour distinguer les snapshots intacts de ceux devenus inaccessibles
- Examen de l'état des snapshots shard par shard pour déterminer précisément quels index pouvaient être restaurés en place
- Restauration des index les plus anciens via une version intermédiaire supportée du moteur, puis réindexation vers la version actuelle plutôt que leur abandon
- Correction du chemin du dépôt et de la politique d'accès pour que les nouveaux snapshots soient écrits et lus depuis un emplacement unique et cohérent
- Ajout d'une vérification automatisée des snapshots et d'un test de restauration planifié, pour que les échecs apparaissent en quelques jours et non lors d'un exercice de PRA
- Réécriture du runbook de reprise selon la procédure qui a réellement fonctionné, avec des durées mesurées par niveau d'index
Résultat obtenu
Tous les index critiques pour l'audit ont été récupérés et le domaine est repassé au vert. Le client dispose désormais d'une procédure de restauration éprouvée de bout en bout, et les échecs de vérification des snapshots déclenchent une alerte d'astreinte au lieu de rester silencieux jusqu'au prochain test de PRA.