Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Den Moment überstehen, in dem der Cache kalt wird

Digitale Medienplattform

Laufender Support für eine Memcached-Schicht, die nach Node-Änderungen und bei gleichzeitig ablaufenden Keys immer wieder einen Thundering Herd auf die Datenbank auslöste.

Überblick

Eine digitale Medienplattform erlitt immer wieder Datenbankausfälle, sobald ein Memcached-Node ausgetauscht wurde oder ein großer Schwung Keys gleichzeitig ablief. AceMQ bietet kontinuierlichen Support für die Cache-Schicht und die Anwendungsmuster rund um sie.

Herausforderung

Fällt ein Node aus einem Consistent-Hashing-Ring heraus, wird sein Anteil an Keys neu zugeordnet, und jeder neu zugeordnete Key verfehlt den Cache gleichzeitig. Ohne Schutz vor paralleler Neuberechnung berechneten Tausende Requests gleichzeitig denselben teuren Wert und lasteten die Datenbank voll aus. Dasselbe passierte, wenn viele Keys auf einmal abliefen: Keys, die während eines Deployments gemeinsam befüllt wurden, hatten eine identische TTL und liefen daher gemeinsam ab. Routinemäßige Node-Wartung war zu einem Problem für das Change-Approval geworden.

Umgebung

Memcached-Schicht auf AWS vor einer relationalen Datenbank, Anwendungsserver auf Kubernetes mit häufigen Deployments.

Vorgehen

Der Support umfasst hier den Cache und die Anwendungsmuster, die ihn nutzen, denn Schutz vor Stampedes ist eine Aufgabe der Anwendung, die der Cache allein nicht lösen kann. Wir arbeiten mit den Engineers des Kunden an Request Coalescing und TTL-Jitter und machen Änderungen an der Node-Topologie zu einem kontrollierten Vorgang statt zu einem Ereignis.

Lösung

  1. 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers, die die Cache-Topologie und ihre Nutzer kennen
  2. Request Coalescing auf Anwendungsebene ergänzt, sodass nur ein Aufrufer einen fehlenden Wert neu berechnet, während die anderen warten
  3. TTL-Jitter eingeführt, damit gemeinsam befüllte Keys nicht gemeinsam ablaufen und eine Ablaufwelle erzeugen
  4. Konfiguration des Consistent Hashing überprüft, damit Node-Änderungen den kleinstmöglichen Anteil an Keys neu zuordnen
  5. Kontrolliertes Verfahren zum Hinzufügen und Entfernen von Nodes mit Pre-Warming statt ungeplanter Austauschaktionen
  6. Monitoring von Hit Rate, Evictions und Get-Misses pro Node, damit ein schwächelnder Node erkannt wird, bevor er ausfällt

Resultat

Der Austausch eines Nodes erzeugt keine Lastspitze auf der Datenbank mehr, und die Ablaufwellen sind verschwunden, seit TTL-Jitter eingesetzt wird. Die Cache-Wartung ist vom Change-Approval-Ereignis wieder zum Routinebetrieb geworden.

Technologien

MemcachedLinuxPostgreSQLKubernetes

Brauchen Sie Expertensupport für Memcached?

Die Senior Engineers von AceMQ für Memcached haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.