Überblick
Eine Zahlungsplattform verlor bei einem Hardwaredefekt einen Data Node, und der Cluster kehrte nie wieder auf Green zurück. Replica Shards blieben tagelang unzugewiesen, während der Such-Traffic auf einzelnen Kopien lief – der Index war damit nur einen weiteren Ausfall von echtem Datenverlust entfernt.
Herausforderung
Die verbliebenen Knoten hatten das Flood-Stage-Disk-Watermark überschritten. Elasticsearch hatte daher einen read-only-allow-delete-Index-Block gesetzt und verweigerte die Zuweisung der fehlenden Replicas. Die Allocation-Explain-Ausgabe verwies auf das Watermark, doch das Team konnte keinen Speicher freigeben, weil der Block auch die geplante Bereinigung per Delete-by-Query verhinderte. Gleichzeitig wuchs das Translog auf den Hot-Indizes weiter.
Umgebung
Elasticsearch-Cluster mit rund 20 Data Nodes auf Bare Metal, Hot-Warm-Tiering und mehreren TB indexierter Transaktions- und Audit-Daten.
Vorgehen
Die AceMQ-Engineers setzten bei der Allocation Explain API an, statt zu raten, und bauten den Speicherdruck dann in einer Reihenfolge ab, die ein sicheres Aufheben des Blocks erlaubte. Wir verschoben ältere Indizes in den Warm-Tier, führten auf schreibgeschützten Segmenten einen Force Merge durch, um den Platz gelöschter Dokumente zurückzugewinnen, hoben dann den Index-Block auf und ließen die Allocation mit gedrosselter Recovery-Rate weiterlaufen, damit der Cluster beim Wiederaufbau nicht sein eigenes Netzwerk sättigte.
Lösung
- Allocation-Explain-Ausgabe für jeden unzugewiesenen Shard geprüft, um zu bestätigen, dass das Watermark und keine Korruption die Ursache war
- Ältere Indizes auf Warm-Tier-Knoten verschoben und schreibgeschützte Indizes per Force Merge verdichtet, um den Platz gelöschter Dokumente freizugeben
- Den read-only-allow-delete-Block erst aufgehoben, nachdem wieder Reserven vorhanden waren – so wurde ein erneutes Überschreiten der Flood Stage vermieden
- indices.recovery.max_bytes_per_sec während des Wiederaufbaus gedrosselt, damit die Replica-Recovery den Live-Abfragetraffic nicht ausbremst
- Explizite Low-, High- und Flood-Watermarks mit realistischen Reserven gesetzt und Disk-Alerting vor dem High Watermark ergänzt
- Recovery-Runbook dokumentiert, damit die Rufbereitschaft des Kunden denselben Zustand ohne Eskalation beheben kann
Resultat
Der Cluster kehrte auf Green zurück, alle Replicas sind zugewiesen, kein Index ging verloren. Weil die Watermark-Alerts jetzt deutlich vor der Flood Stage auslösen, ist der Kunde nicht wieder in den Read-only-Block gelaufen, und der Austausch eines Knotens ist heute eine routinemäßige Wartung statt eines Vorfalls.