Zurück zu allen Kundenbeispielen

FehlerbehebungFertigung / Automobil

Das Zugriffsmuster korrigieren, statt nur den Tombstone-Schwellenwert anzuheben

Anbieter von Telematik für vernetzte Fahrzeuge

Behebung von Read Timeouts durch Tombstone-Anhäufung auf Queue-artigen Partitionen, bei denen die Deletes schneller kamen, als Compaction und gc_grace_seconds sie abbauen konnten.

Überblick

Ein Telematikanbieter nutzte eine Cassandra-Tabelle als Work Queue: Zeilen wurden geschrieben und nach der Verarbeitung gelöscht. Read-Abfragen liefen zunehmend in Timeouts, weil die Coordinators Zehntausende Tombstones scannten, um eine Handvoll lebender Zeilen zurückzugeben. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen.

Herausforderung

Tombstones bleiben lesbar, bis gc_grace_seconds abgelaufen ist und die Compaction sie entfernt – das soll verhindern, dass gelöschte Daten auf einem Knoten wieder auftauchen, der den Delete verpasst hat. Repairs liefen im Ring jedoch nicht mehr vollständig durch, sodass ein Absenken von gc_grace_seconds ein reales Risiko wiederauferstehender Daten bedeutet hätte. Das Team hatte die Warn- und Fehlerschwellen für Tombstones immer weiter angehoben. Das verdeckte das Symptom, während die eigentlichen Scan-Kosten weiter stiegen.

Umgebung

Multi-Datacenter-Cluster mit Apache Cassandra auf Bare Metal, der Fahrzeugtelemetrie in hohem Volumen aufnimmt.

Vorgehen

AceMQ trennte die Sofortmaßnahmen von der dauerhaften Lösung. Zuverlässig abgeschlossene Repairs waren die Voraussetzung für jede Änderung an gc_grace_seconds. Die Änderung am Datenmodell war nötig, weil eine Queue auf einer Wide Partition unabhängig von allen Einstellungen schneller Tombstones erzeugt, als die Compaction sie abbauen kann.

Lösung

  1. Die konkreten Partitionen und Abfragemuster mit den meisten gescannten Tombstones identifiziert
  2. Zuverlässig abgeschlossene Repairs im gesamten Ring wiederhergestellt – als Voraussetzung, um gc_grace_seconds überhaupt anzufassen
  3. Den Queue-Workload vom Wide-Partition-Muster auf zeitlich gebuckette Partitionen mit TTL-basiertem Ablauf umgestellt
  4. Die betroffenen Tabellen auf eine Compaction-Strategie umgestellt, die zum Schreib- und Löschmuster passt
  5. Die angehobenen Tombstone-Schwellenwerte zurückgesetzt, damit das Problem wieder sichtbar wird, statt unterdrückt zu werden
  6. In einem kontrollierten Wartungsfenster eine gezielte Compaction gefahren, um den vorhandenen Tombstone-Rückstau abzubauen

Resultat

Die Read Timeouts auf den betroffenen Tabellen hörten auf, und die p99-Leselatenz sank deutlich, weil die Zahl der gescannten Tombstones um Größenordnungen zurückging. Repairs laufen jetzt planmäßig durch – damit ist auch das Risiko wiederauferstehender Daten beseitigt, das der Kunde unwissentlich getragen hatte.

Technologien

Apache CassandraKubernetesPrometheusLinux

Haben Sie ein Produktionsproblem mit Apache Cassandra?

Die Senior Engineers von AceMQ für Apache Cassandra haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.