Überblick
Ein Anbieter von Identitätsdiensten hatte seine Cassandra-Tabellen so modelliert, wie er relationale Tabellen modelliert hätte, und anschließend Sekundärindizes ergänzt, um die Abfragen abzudecken, die der Primärschlüssel nicht bediente. Einige Partitionen waren auf mehrere Gigabyte angewachsen, und indexgestützte Abfragen verteilten sich auf jeden Node im Ring. AceMQ wurde mit der Neugestaltung des Modells beauftragt.
Herausforderung
Cassandra belohnt eine Modellierung entlang der Abfragemuster und bestraft eine Modellierung entlang von Entitäten. Die Neugestaltung musste das Wachstum der Partitionen begrenzen, die dominanten Abfragen der Plattform über ein einziges Replica-Set bedienen und sich schrittweise einführen lassen – der Anbieter konnte die Schreibvorgänge nicht stoppen, um Tabellen komplett neu aufzubauen.
Umgebung
Apache Cassandra auf Kubernetes als Basis für Identitätsprüfung und Services für den Lebenszyklus von Zugangsdaten.
Vorgehen
AceMQ erfasste jede Abfrage, die die Anwendung absetzte, und leitete daraus rückwärts die Tabellen ab, die zu ihrer Bedienung nötig waren – Denormalisierung wurde dort akzeptiert, wo sie den Fan-out beseitigte. Die Partitionsgrößen wurden auf mehrere Jahre Wachstum hochgerechnet statt auf das aktuelle Volumen, und die Migration wurde mit Dual Writes konzipiert, sodass die Umstellung kein Wartungsfenster erforderte.
Lösung
- Erfassung der tatsächlichen Abfragemuster der Anwendung und Ableitung der benötigten Tabellendesigns daraus
- Einführung von Zeit- und Hash-Bucketing, um das Partitionswachstum gemessen an mehrjährigen Prognosen zu begrenzen
- Ersatz der Abfragen über Sekundärindizes durch eigens gebaute denormalisierte Tabellen, um den clusterweiten Fan-out zu beseitigen
- Wahl von Clustering Keys und Reihenfolge, sodass Range Scans und Paginierung ohne Sortierung im Speicher bedient werden
- Migrationspfad mit Dual Writes und Backfill, sodass für die Umstellung kein Schreibstopp nötig war
- Leitplanken für Partitionsgröße und Zeilenzahl samt Monitoring, um Regressionen in der künftigen Entwicklung zu erkennen
Resultat
Clusterweite Fan-out-Abfragen wurden aus dem Hot Path entfernt, und die größten Partitionen liegen wieder innerhalb einer Größenordnung der empfohlenen Obergrenze. Die Leselatenz ist über den gesamten Key Space berechenbar geworden, statt mit der Partitionsgröße zu schwanken.