Überblick
Ein Zahlungsdienstleister, der in neue Regionen expandierte, brauchte ein Caching-Design, das keine veralteten Lesezugriffe über Regionen hinweg erzeugt. AceMQ entwarf Topologie, Namespacing und Invalidierungsstrategie, bevor die Expansion begann.
Herausforderung
Das bestehende Single-Region-Setup verließ sich darauf, dass einzelne Services nach Schreibvorgängen Keys löschten, wobei jeder Service seine eigene Key-Benennung verwendete. Niemand hatte ein vollständiges Bild davon, welche Keys ein bestimmter Schreibvorgang invalidieren sollte. Veraltete Lesezugriffe kamen also vor und wurden durch kürzere TTLs behoben – was die Last zurück auf die Datenbank verlagerte. Dieses Modell auf mehrere Regionen auszuweiten, hätte das Problem vervielfacht, denn ein Schreibvorgang in einer Region hatte keinen Weg, eine gecachte Kopie in einer anderen zu invalidieren.
Umgebung
Multi-Region-Deployment auf AWS mit Kubernetes, latenzkritische Pfade für die Zahlungsautorisierung, regionale Vorgaben zur Datenresidenz.
Vorgehen
Wir haben den Cache rund um klare Zuständigkeiten entworfen: Jeder Key-Namespace hat genau einen verantwortlichen Service, der seinen Lebenszyklus steuert. Statt Löschvorgänge über Regionen zu verteilen, nutzt das Design versionierte Namespaces. Eine Invalidierung ist damit ein einziges Hochzählen der Version, das veraltete Einträge unerreichbar macht und sie auf natürliche Weise auslaufen lässt.
Lösung
- Schema für Key-Namespaces mit genau einem verantwortlichen Service pro Namespace, als Ende der geteilten, impliziten Zuständigkeit
- Versionierte Namespaces, sodass eine Invalidierung ein einziges Hochzählen der Version ist statt einer aufgezählten Menge von Löschvorgängen
- Regionale Cache-Tiers unter Einhaltung der Residenzgrenzen, mit klaren Regeln, was niemals regionsübergreifend gecacht wird
- TTL-Strategie pro Datenklasse auf Basis der tolerierbaren Veraltung, als Ersatz für pauschal kurze TTLs, die Invalidierungsfehler kaschierten
- Definiertes Verhalten im Fehlerfall, sodass ein Cache-Ausfall zu direkten Lesezugriffen mit Concurrency-Limits führt statt zu einer Stampede auf die Datenbank
- Hinweise, wo ein dauerhafter Speicher besser passt als ein flüchtiger Cache, damit Memcached den Workloads vorbehalten bleibt, für die es geeignet ist
Resultat
Regionsübergreifende veraltete Lesezugriffe wurden per Design ausgeschlossen statt nur abgemildert. Dadurch ließen sich die TTLs deutlich verlängern und die Leselast auf der Datenbank senken. Das Muster der versionierten Namespaces haben inzwischen auch Teams außerhalb des ursprünglichen Projektumfangs übernommen.