Zurück zu allen Kundenbeispielen

FehlerbehebungSoftware / Digitale Plattformen

Evictions steigen, während der Cache freien Speicher meldet

Digital-Commerce-Plattform

Notfall-Behebung bei einem Memcached-Tier, der Hot Keys verdrängte, obwohl er freien Speicher meldete – Ursache war die Speicherzuteilung auf die Slab-Klassen.

Überblick

Nach einer Änderung am Serialisierungsformat der Objekte brach die Cache-Hit-Rate einer Commerce-Plattform ein. Die Evictions stiegen stark an, obwohl die Server ungenutzten Speicher meldeten. Die Datenbank fing die zusätzliche Last ab, und die Seitenlatenz stieg mit.

Herausforderung

Memcached weist Speicher nach Item-Größe einzelnen Slab-Klassen zu. Ist eine Page einmal einer Klasse zugeordnet, bleibt sie dort standardmäßig. Durch die geänderte Serialisierung fiel das typische Item in eine andere Größenklasse als die, die fast alle zugeteilten Pages hielt. Die neue Klasse lief voll und begann nahezu sofort mit Evictions, während die alte Klasse größtenteils leer blieb – das klassische Muster einer Slab Calcification. Auf jedem Dashboard sah der Gesamtspeicher unauffällig aus. Deshalb hatte das Team fehlende Kapazität als Ursache ausgeschlossen.

Umgebung

Memcached-Tier vor einer relationalen Datenbank für Session- und Objekt-Caching, Application Server auf Kubernetes.

Vorgehen

Wir haben die Statistiken pro Slab-Klasse ausgewertet statt der aggregierten Speicherwerte – damit war das Ungleichgewicht innerhalb von Minuten offensichtlich. Sofortige Entlastung brachte das Aktivieren des Slab Rebalancing, sodass Pages zwischen den Klassen wandern können. Die dauerhafte Lösung bestand darin, Item-Größen bewusst zu dimensionieren und genau die Metriken zu überwachen, die dieses Fehlerbild tatsächlich sichtbar machen.

Lösung

  1. Statistiken pro Slab-Klasse analysiert, um den Widerspruch zwischen Evictions und freiem Speicher offenzulegen, den die aggregierten Metriken verdeckten
  2. Automatisches Slab Rebalancing aktiviert, damit Pages zwischen Größenklassen wandern, wenn sich der Workload verschiebt
  3. Growth Factor und Chunk-Größen an der realen Verteilung der Item-Größen statt an den Standardwerten ausgerichtet
  4. Größe der serialisierten Objekte auf Anwendungsebene reduziert, damit Items verlässlich in eine Klasse fallen
  5. Monitoring von Evictions und Page-Anzahl pro Klasse eingeführt – anstelle des aggregierten Speichergraphen, der das Problem verschleiert hatte
  6. Ablauf für Neustart und Warm-up definiert, damit ein Cache-Neustart keinen Ansturm auf die Datenbank auslöst

Resultat

Die Hit-Rate erreichte innerhalb einer Stunde wieder ihr früheres Niveau, und die Evictions in der stark genutzten Klasse fielen auf nahezu null. Die Leselast der Datenbank normalisierte sich. Das Monitoring pro Klasse hat seitdem eine zweite Größenverschiebung gemeldet, bevor sie sich auswirken konnte.

Technologien

MemcachedLinuxMySQLKubernetes

Haben Sie ein Produktionsproblem mit Memcached?

Die Senior Engineers von AceMQ für Memcached haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.