Überblick
Eine digitale Medienplattform erlitt immer wieder Datenbankausfälle, sobald ein Memcached-Node ausgetauscht wurde oder ein großer Schwung Keys gleichzeitig ablief. AceMQ bietet kontinuierlichen Support für die Cache-Schicht und die Anwendungsmuster rund um sie.
Herausforderung
Fällt ein Node aus einem Consistent-Hashing-Ring heraus, wird sein Anteil an Keys neu zugeordnet, und jeder neu zugeordnete Key verfehlt den Cache gleichzeitig. Ohne Schutz vor paralleler Neuberechnung berechneten Tausende Requests gleichzeitig denselben teuren Wert und lasteten die Datenbank voll aus. Dasselbe passierte, wenn viele Keys auf einmal abliefen: Keys, die während eines Deployments gemeinsam befüllt wurden, hatten eine identische TTL und liefen daher gemeinsam ab. Routinemäßige Node-Wartung war zu einem Problem für das Change-Approval geworden.
Umgebung
Memcached-Schicht auf AWS vor einer relationalen Datenbank, Anwendungsserver auf Kubernetes mit häufigen Deployments.
Vorgehen
Der Support umfasst hier den Cache und die Anwendungsmuster, die ihn nutzen, denn Schutz vor Stampedes ist eine Aufgabe der Anwendung, die der Cache allein nicht lösen kann. Wir arbeiten mit den Engineers des Kunden an Request Coalescing und TTL-Jitter und machen Änderungen an der Node-Topologie zu einem kontrollierten Vorgang statt zu einem Ereignis.
Lösung
- 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers, die die Cache-Topologie und ihre Nutzer kennen
- Request Coalescing auf Anwendungsebene ergänzt, sodass nur ein Aufrufer einen fehlenden Wert neu berechnet, während die anderen warten
- TTL-Jitter eingeführt, damit gemeinsam befüllte Keys nicht gemeinsam ablaufen und eine Ablaufwelle erzeugen
- Konfiguration des Consistent Hashing überprüft, damit Node-Änderungen den kleinstmöglichen Anteil an Keys neu zuordnen
- Kontrolliertes Verfahren zum Hinzufügen und Entfernen von Nodes mit Pre-Warming statt ungeplanter Austauschaktionen
- Monitoring von Hit Rate, Evictions und Get-Misses pro Node, damit ein schwächelnder Node erkannt wird, bevor er ausfällt
Resultat
Der Austausch eines Nodes erzeugt keine Lastspitze auf der Datenbank mehr, und die Ablaufwellen sind verschwunden, seit TTL-Jitter eingesetzt wird. Die Cache-Wartung ist vom Change-Approval-Ereignis wieder zum Routinebetrieb geworden.