Überblick
Ein Telematikanbieter nutzte eine Cassandra-Tabelle als Work Queue: Zeilen wurden geschrieben und nach der Verarbeitung gelöscht. Read-Abfragen liefen zunehmend in Timeouts, weil die Coordinators Zehntausende Tombstones scannten, um eine Handvoll lebender Zeilen zurückzugeben. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen.
Herausforderung
Tombstones bleiben lesbar, bis gc_grace_seconds abgelaufen ist und die Compaction sie entfernt – das soll verhindern, dass gelöschte Daten auf einem Knoten wieder auftauchen, der den Delete verpasst hat. Repairs liefen im Ring jedoch nicht mehr vollständig durch, sodass ein Absenken von gc_grace_seconds ein reales Risiko wiederauferstehender Daten bedeutet hätte. Das Team hatte die Warn- und Fehlerschwellen für Tombstones immer weiter angehoben. Das verdeckte das Symptom, während die eigentlichen Scan-Kosten weiter stiegen.
Umgebung
Multi-Datacenter-Cluster mit Apache Cassandra auf Bare Metal, der Fahrzeugtelemetrie in hohem Volumen aufnimmt.
Vorgehen
AceMQ trennte die Sofortmaßnahmen von der dauerhaften Lösung. Zuverlässig abgeschlossene Repairs waren die Voraussetzung für jede Änderung an gc_grace_seconds. Die Änderung am Datenmodell war nötig, weil eine Queue auf einer Wide Partition unabhängig von allen Einstellungen schneller Tombstones erzeugt, als die Compaction sie abbauen kann.
Lösung
- Die konkreten Partitionen und Abfragemuster mit den meisten gescannten Tombstones identifiziert
- Zuverlässig abgeschlossene Repairs im gesamten Ring wiederhergestellt – als Voraussetzung, um gc_grace_seconds überhaupt anzufassen
- Den Queue-Workload vom Wide-Partition-Muster auf zeitlich gebuckette Partitionen mit TTL-basiertem Ablauf umgestellt
- Die betroffenen Tabellen auf eine Compaction-Strategie umgestellt, die zum Schreib- und Löschmuster passt
- Die angehobenen Tombstone-Schwellenwerte zurückgesetzt, damit das Problem wieder sichtbar wird, statt unterdrückt zu werden
- In einem kontrollierten Wartungsfenster eine gezielte Compaction gefahren, um den vorhandenen Tombstone-Rückstau abzubauen
Resultat
Die Read Timeouts auf den betroffenen Tabellen hörten auf, und die p99-Leselatenz sank deutlich, weil die Zahl der gescannten Tombstones um Größenordnungen zurückging. Repairs laufen jetzt planmäßig durch – damit ist auch das Risiko wiederauferstehender Daten beseitigt, das der Kunde unwissentlich getragen hatte.