Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Eine Domain wiederherstellen, wenn sich der Snapshot, auf den Sie sich verlassen haben, nicht zurückspielen lässt

Dienstleister im Versicherungswesen

Notfallwiederherstellung einer OpenSearch-Domain, bei der Snapshot-Restores mittendrin abbrachen und Indizes im Status Red zurückließen.

Überblick

Ein Dienstleister im Versicherungswesen stellte bei einem DR-Test fest, dass sich seine OpenSearch-Snapshots nicht sauber wiederherstellen ließen. Mehrere Indizes kamen im Status Red zurück, und der Restore brach ab – der dokumentierte Wiederherstellungsplan funktionierte also nicht.

Herausforderung

Das Snapshot-Repository war irgendwann ohne Repository-Verifizierung umkonfiguriert worden, sodass ein Teil der Segmentdateien über den aktuellen Bucket-Pfad nicht mehr erreichbar war. Restores schienen normal zu starten und scheiterten dann an bestimmten Shards. Erschwerend kam hinzu, dass die Ziel-Domain eine neuere Engine-Version nutzte als mehrere der älteren Snapshots. Einige Indizes lagen damit außerhalb des unterstützten Restore-Bereichs und ließen sich überhaupt nicht direkt wiederherstellen.

Umgebung

Managed OpenSearch-Domain auf AWS mit Snapshots im Object Storage und mehrjähriger Aufbewahrung für Audit-Indizes.

Vorgehen

Wir haben zunächst das Repository als verdächtig behandelt und es verifiziert, bevor weitere Restores versucht wurden. Sobald feststand, welche Snapshots intakt waren, haben wir den wiederherstellbaren Bestand rekonstruiert, die zu alten Indizes über eine Zwischenversion wiederhergestellt und anschließend die Repository-Konfiguration neu aufgebaut – damit die Verifizierung Teil des Snapshot-Zyklus ist und nicht nur bei einem DR-Test läuft.

Lösung

  1. Repository-Verifizierung für jedes registrierte Repository, um intakte von nicht erreichbaren Snapshots zu trennen
  2. Snapshot-Status Shard für Shard geprüft, um genau festzustellen, welche Indizes direkt wiederherstellbar waren
  3. Ältere Indizes über eine unterstützte Engine-Zwischenversion wiederhergestellt und vorwärts reindexiert, statt sie aufzugeben
  4. Repository-Pfad und Zugriffsrichtlinie korrigiert, damit neue Snapshots an einem einzigen, konsistenten Ort geschrieben und gelesen werden
  5. Automatisierte Snapshot-Verifizierung und ein geplanter Restore-Test eingeführt, damit Fehler innerhalb von Tagen sichtbar werden – nicht erst bei einer DR-Übung
  6. Recovery-Runbook auf Basis des tatsächlich funktionierenden Verfahrens neu geschrieben, mit gemessenen Laufzeiten pro Index-Tier

Resultat

Alle auditkritischen Indizes wurden wiederhergestellt, und die Domain ist wieder im Status Green. Der Kunde verfügt jetzt über einen Restore-Pfad, der von Anfang bis Ende erprobt ist, und fehlgeschlagene Snapshot-Verifizierungen alarmieren die Rufbereitschaft, statt bis zum nächsten DR-Test unbemerkt zu bleiben.

Technologien

OpenSearchAmazon S3OpenSearch DashboardsLinux

Haben Sie ein Produktionsproblem mit OpenSearch?

Die Senior Engineers von AceMQ für OpenSearch haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.