Überblick
Ein Zahlungsdienstleister hatte eine Standalone-Instanz von Redis auf den größten verfügbaren Host skaliert und konnte nicht weiter wachsen. Der Umstieg auf den Cluster-Modus lag nahe, doch die Anwendung nutzte Multi-Key-Operationen und Lua-Skripte, die davon ausgehen, dass alle Keys auf einem Knoten liegen. AceMQ plante und validierte die Migration.
Herausforderung
Der Cluster-Modus lehnt Multi-Key-Operationen ab, deren Keys auf unterschiedliche Slots gehasht werden. Jede solche Operation in einer großen Codebasis zu finden ist schwieriger, als es klingt, da viele dynamisch zusammengesetzt werden. Hash Tags können zusammengehörige Keys auf denselben Slot zwingen – übermäßig eingesetzt erzeugen sie aber genau das Problem heißer Knoten, das die Migration lösen soll.
Umgebung
Redis auf Kubernetes als Grundlage für Deduplizierung von Transaktionen, Rate Limiting und die Speicherung von Idempotency Keys.
Vorgehen
AceMQ erfasste den tatsächlichen Befehlsmix aus dem Live-Traffic statt allein per Code-Review – so kamen dynamisch zusammengesetzte Multi-Key-Operationen zum Vorschein, die die statische Analyse übersehen hatte. Das Design der Hash Tags wurde anschließend gezielt begrenzt, um die Slot-Verteilung zu erhalten, und die Migration wurde gestaffelt mit Validierung per Dual-Read durchgeführt.
Lösung
- Erfassung des Live-Befehlsmixes, um Multi-Key-Operationen und Skripte zu finden, die die statische Code-Prüfung übersehen hatte
- Hash Tags so eng gefasst, dass die Slot-Verteilung erhalten bleibt und zusammengehörige Keys dennoch beieinander liegen
- Operationen, die sich nicht zusammenlegen ließen, so umgeschrieben, dass sie slotübergreifend ohne Korrektheitsverlust funktionieren
- Cluster-Unterstützung und Umgang mit Redirections der Client Library vor jeder Infrastrukturänderung validiert
- Gestaffelte Migration mit Validierung per Dual-Read und einem definierten Rollback-Punkt in jeder Phase entworfen
- Slot-Verteilung und Last pro Knoten anhand produktiver Key-Muster modelliert, bevor die Topologie festgelegt wurde
Resultat
Der Zahlungsdienstleister ist auf den Cluster-Modus umgestiegen und hat nun horizontalen Spielraum statt einer vertikalen Obergrenze; die Slot-Verteilung blieb auch unter produktiven Key-Mustern gleichmäßig. Die Multi-Key-Operationen, die unbemerkt fehlgeschlagen wären, wurden vor dem Cutover gefunden und korrigiert.