Überblick
Eine Behörde betrieb einen Cassandra-Cluster, den sie aus einem Dienstleisterprojekt übernommen hatte, das Jahre zuvor ausgelaufen war. Die Dokumentation war dünn, und das Betriebsteam hatte nie eine Ausgangsbasis erhalten. AceMQ bewertete den Cluster anhand seines aktuellen Workloads und des prognostizierten Wachstums.
Herausforderung
Bei einem übernommenen Cluster gilt es, bewusste Designentscheidungen von über die Zeit angesammelten Zufällen zu trennen. Replikationsfaktor und Konsistenzlevel mussten mit der Dauerhaftigkeit abgeglichen werden, die die Behörde tatsächlich benötigte. Die Token-Verteilung musste auf Hotspots geprüft werden, und das Verhalten von JVM und Garbage Collection musste unter realer Last gemessen statt aus den Einstellungen abgeleitet werden.
Umgebung
Apache-Cassandra-Cluster On-Premises für Workloads aus Fallbearbeitung und Aufbewahrung von Akten.
Vorgehen
AceMQ erhob Belege direkt aus dem laufenden Cluster – Token-Ownership, Lastverteilung pro Knoten, Verteilung der Garbage-Collection-Pausen, Compaction-Rückstau und Warteschlangen ausstehender Tasks – und bewertete sie anhand der Anforderungen der Behörde an Dauerhaftigkeit und Verfügbarkeit. Die Befunde wurden danach gereiht, wie nah jeder einzelne daran war, einen Incident auszulösen.
Lösung
- Token-Ownership und Lastverteilung pro Knoten geprüft, um Hotspots und unausgewogene Knoten zu erkennen
- Replikationsfaktor und Konsistenzlevel mit den tatsächlichen Anforderungen der Behörde an die Dauerhaftigkeit abgeglichen
- Die Verteilung der Garbage-Collection-Pausen und das Heap-Verhalten unter Produktionslast gemessen
- Compaction-Rückstau, ausstehende Tasks und SSTable-Anzahl pro Tabelle auf sich anhäufende technische Schulden geprüft
- Abdeckung und Abschlusshistorie der Repairs im Verhältnis zu gc_grace_seconds bewertet
- Die Kapazitätsreserven gegen das erwartete Wachstum hochgerechnet und eine nach Risiko geordnete Roadmap für die Behebung geliefert
Resultat
Die Behörde erhielt erstmals eine belastbare Ausgangsbasis, in der die Punkte, die einem Ausfall am nächsten waren, identifiziert und in eine Reihenfolge gebracht wurden. Mehrere übernommene Konfigurationsentscheidungen wurden daraufhin korrigiert, darunter Konsistenzlevel, die nicht zur festgelegten Anforderung an die Dauerhaftigkeit passten.