Zurück zu allen Kundenbeispielen

FehlerbehebungFinanzdienstleistungen / Zahlungsverkehr

Einen festgefahrenen Elasticsearch-Cluster ohne Datenverlust zurück auf Green bringen

Globaler Zahlungsdienstleister

Notfallbehebung bei einem Elasticsearch-Cluster, der nach dem Ausfall eines Data Nodes nicht mehr auf Green zurückkehrte, weil Disk Watermarks die Replicas blockierten.

Überblick

Eine Zahlungsplattform verlor bei einem Hardwaredefekt einen Data Node, und der Cluster kehrte nie wieder auf Green zurück. Replica Shards blieben tagelang unzugewiesen, während der Such-Traffic auf einzelnen Kopien lief – der Index war damit nur einen weiteren Ausfall von echtem Datenverlust entfernt.

Herausforderung

Die verbliebenen Knoten hatten das Flood-Stage-Disk-Watermark überschritten. Elasticsearch hatte daher einen read-only-allow-delete-Index-Block gesetzt und verweigerte die Zuweisung der fehlenden Replicas. Die Allocation-Explain-Ausgabe verwies auf das Watermark, doch das Team konnte keinen Speicher freigeben, weil der Block auch die geplante Bereinigung per Delete-by-Query verhinderte. Gleichzeitig wuchs das Translog auf den Hot-Indizes weiter.

Umgebung

Elasticsearch-Cluster mit rund 20 Data Nodes auf Bare Metal, Hot-Warm-Tiering und mehreren TB indexierter Transaktions- und Audit-Daten.

Vorgehen

Die AceMQ-Engineers setzten bei der Allocation Explain API an, statt zu raten, und bauten den Speicherdruck dann in einer Reihenfolge ab, die ein sicheres Aufheben des Blocks erlaubte. Wir verschoben ältere Indizes in den Warm-Tier, führten auf schreibgeschützten Segmenten einen Force Merge durch, um den Platz gelöschter Dokumente zurückzugewinnen, hoben dann den Index-Block auf und ließen die Allocation mit gedrosselter Recovery-Rate weiterlaufen, damit der Cluster beim Wiederaufbau nicht sein eigenes Netzwerk sättigte.

Lösung

  1. Allocation-Explain-Ausgabe für jeden unzugewiesenen Shard geprüft, um zu bestätigen, dass das Watermark und keine Korruption die Ursache war
  2. Ältere Indizes auf Warm-Tier-Knoten verschoben und schreibgeschützte Indizes per Force Merge verdichtet, um den Platz gelöschter Dokumente freizugeben
  3. Den read-only-allow-delete-Block erst aufgehoben, nachdem wieder Reserven vorhanden waren – so wurde ein erneutes Überschreiten der Flood Stage vermieden
  4. indices.recovery.max_bytes_per_sec während des Wiederaufbaus gedrosselt, damit die Replica-Recovery den Live-Abfragetraffic nicht ausbremst
  5. Explizite Low-, High- und Flood-Watermarks mit realistischen Reserven gesetzt und Disk-Alerting vor dem High Watermark ergänzt
  6. Recovery-Runbook dokumentiert, damit die Rufbereitschaft des Kunden denselben Zustand ohne Eskalation beheben kann

Resultat

Der Cluster kehrte auf Green zurück, alle Replicas sind zugewiesen, kein Index ging verloren. Weil die Watermark-Alerts jetzt deutlich vor der Flood Stage auslösen, ist der Kunde nicht wieder in den Read-only-Block gelaufen, und der Austausch eines Knotens ist heute eine routinemäßige Wartung statt eines Vorfalls.

Technologien

ElasticsearchKibanaLinuxKubernetes

Haben Sie ein Produktionsproblem mit Elasticsearch?

Die Senior Engineers von AceMQ für Elasticsearch haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.