Überblick
Ein Dienstleister im Versicherungswesen stellte bei einem DR-Test fest, dass sich seine OpenSearch-Snapshots nicht sauber wiederherstellen ließen. Mehrere Indizes kamen im Status Red zurück, und der Restore brach ab – der dokumentierte Wiederherstellungsplan funktionierte also nicht.
Herausforderung
Das Snapshot-Repository war irgendwann ohne Repository-Verifizierung umkonfiguriert worden, sodass ein Teil der Segmentdateien über den aktuellen Bucket-Pfad nicht mehr erreichbar war. Restores schienen normal zu starten und scheiterten dann an bestimmten Shards. Erschwerend kam hinzu, dass die Ziel-Domain eine neuere Engine-Version nutzte als mehrere der älteren Snapshots. Einige Indizes lagen damit außerhalb des unterstützten Restore-Bereichs und ließen sich überhaupt nicht direkt wiederherstellen.
Umgebung
Managed OpenSearch-Domain auf AWS mit Snapshots im Object Storage und mehrjähriger Aufbewahrung für Audit-Indizes.
Vorgehen
Wir haben zunächst das Repository als verdächtig behandelt und es verifiziert, bevor weitere Restores versucht wurden. Sobald feststand, welche Snapshots intakt waren, haben wir den wiederherstellbaren Bestand rekonstruiert, die zu alten Indizes über eine Zwischenversion wiederhergestellt und anschließend die Repository-Konfiguration neu aufgebaut – damit die Verifizierung Teil des Snapshot-Zyklus ist und nicht nur bei einem DR-Test läuft.
Lösung
- Repository-Verifizierung für jedes registrierte Repository, um intakte von nicht erreichbaren Snapshots zu trennen
- Snapshot-Status Shard für Shard geprüft, um genau festzustellen, welche Indizes direkt wiederherstellbar waren
- Ältere Indizes über eine unterstützte Engine-Zwischenversion wiederhergestellt und vorwärts reindexiert, statt sie aufzugeben
- Repository-Pfad und Zugriffsrichtlinie korrigiert, damit neue Snapshots an einem einzigen, konsistenten Ort geschrieben und gelesen werden
- Automatisierte Snapshot-Verifizierung und ein geplanter Restore-Test eingeführt, damit Fehler innerhalb von Tagen sichtbar werden – nicht erst bei einer DR-Übung
- Recovery-Runbook auf Basis des tatsächlich funktionierenden Verfahrens neu geschrieben, mit gemessenen Laufzeiten pro Index-Tier
Resultat
Alle auditkritischen Indizes wurden wiederhergestellt, und die Domain ist wieder im Status Green. Der Kunde verfügt jetzt über einen Restore-Pfad, der von Anfang bis Ende erprobt ist, und fehlgeschlagene Snapshot-Verifizierungen alarmieren die Rufbereitschaft, statt bis zum nächsten DR-Test unbemerkt zu bleiben.