Überblick
Ein Zahlungsdienstleister ließ Repairs als Cronjob laufen, der einen Full Repair über alle Keyspaces anstieß. Die Läufe überschritten regelmäßig das Zeitfenster von gc_grace_seconds, überlappten sich und wurden abgebrochen, sobald sie die I/O des Clusters sättigten. Niemand konnte sagen, wann der Ring zuletzt vollständig repariert worden war. AceMQ übernahm den Support mit namentlich zugeordneten Senior Engineers.
Herausforderung
Ein Repair, der nicht innerhalb von gc_grace_seconds abgeschlossen wird, ist kein Aufräumproblem: Gelöschte Daten können zurückkehren, sobald die Compaction Tombstones auf einigen Replicas entfernt, auf anderen aber nicht. Full Repairs über einen großen Multi-Datacenter-Ring waren zu teuer, um vollständig durchzulaufen, und das dadurch ausgelöste Streaming konkurrierte direkt mit dem Produktionstraffic.
Umgebung
Multi-Datacenter-Umgebung mit Apache Cassandra, verteilt über On-Premises und Cloud, als Basis für Transaktions-Ledger und Settlement-Daten.
Vorgehen
AceMQ ersetzte den Repair über den gesamten Ring durch geplante, segmentierte, inkrementelle Repairs, die sich an den verfügbaren Reserven des Clusters ausrichten und nach einer Unterbrechung fortgesetzt werden können. Compaction-Strategie und Durchsatzeinstellungen wurden je Tabelle neu abgestimmt, sodass Repair und Compaction nicht mehr um dieselbe I/O konkurrieren.
Lösung
- Cron-gesteuerte Full Repairs durch einen Orchestrator für geplante, segmentierte Repairs ersetzt, der Läufe fortsetzt statt neu startet
- Repairs an die verfügbaren Cluster-Reserven angepasst, sodass sie die I/O während der Geschäftszeiten nicht mehr sättigen
- Compaction-Strategie je Tabelle an die tatsächlichen Lese-, Schreib- und Löschmuster angepasst statt an den Standardwert
- Compaction-Durchsatz und Zahl paralleler Compactors auf das darunterliegende Storage abgestimmt
- Abschlusszeit der Repairs je Keyspace im Verhältnis zu gc_grace_seconds als überwachte, alarmfähige Metrik instrumentiert
- 24/7-Eskalation direkt an Senior Engineers für Cassandra, ohne vorgeschaltete Tier-1-Triage
Resultat
Repairs werden jetzt auf jedem Keyspace deutlich innerhalb von gc_grace_seconds abgeschlossen, und der Abschluss wird als Metrik überwacht statt nur angenommen. Das Risiko wiederauferstehender Daten, das der Cluster getragen hatte, ist beseitigt, und laufende Repairs verschlechtern die Latenz in Produktion nicht mehr.