Überblick
Ein SaaS-Anbieter stand kurz davor, seinen Memcached-Bestand zu verdoppeln, um eine enttäuschende Hit Rate zu verbessern. AceMQ bewertete die Cache-Schicht zuerst, um zu klären, ob die Kapazität tatsächlich der Engpass war.
Herausforderung
Die Hit Rate insgesamt sah schlecht aus, mehr Speicher schien daher die naheliegende Antwort. Der Gesamtwert verdeckte jedoch zwei getrennte Probleme. Ein erheblicher Anteil der Gets betraf Keys, die nur ein einziges Mal gelesen werden – Cache Misses by Design, die kein zusätzlicher Speicher behebt. Und die Verteilung der Keys über den Ring war stark ungleichmäßig: Wegen einer abweichenden Hashing-Konfiguration zwischen zwei Client-Bibliotheken waren einige Nodes nahezu voll und verdrängten Einträge, während andere halb leer blieben.
Umgebung
Memcached-Schicht auf AWS, auf die Services in zwei Programmiersprachen mit unterschiedlichen Client-Bibliotheken zugreifen.
Vorgehen
Das Assessment schlüsselt die Hit Rate nach Key-Muster auf, statt sie als einzelne Zahl zu behandeln, und misst die tatsächliche Verteilung von Keys und Speicher pro Node. So lässt sich der grundsätzlich nicht cachebare Traffic von dem Workload trennen, der von mehr Speicher profitieren würde, und es werden Verteilungsprobleme sichtbar, die zusätzliche Nodes nicht beheben würden.
Lösung
- Hit Rate nach Key-Präfix und Zugriffsmuster aufgeschlüsselt, um nur einmal gelesene Keys von tatsächlich wiederverwendbaren zu trennen
- Key-Anzahl und Speicherverteilung pro Node gemessen, um das Ungleichgewicht im Ring offenzulegen
- Hashing-Konfiguration der Client-Bibliotheken beider Sprachen verglichen und die Abweichung identifiziert, die das Ungleichgewicht verursachte
- Working-Set-Größe je Key-Klasse geschätzt, damit der Kapazitätsbedarf auf Messungen statt auf einer pauschalen Verdopplung beruht
- Nicht cachebare Zugriffsmuster identifiziert und den Anwendungsteams als Kandidaten zur Entfernung aus dem Cache-Pfad zurückgemeldet
- Dimensionierungsempfehlung mit erwarteter Hit Rate je Option, einschließlich der Option, gar keine Kapazität hinzuzufügen
Resultat
Die Korrektur der abweichenden Client-Hashing-Konfiguration brachte den Ring wieder ins Gleichgewicht und hob die Hit Rate deutlich – ohne neue Hardware. Die geplante Verdopplung der Kapazität wurde abgesagt; stattdessen wurde eine moderate, auf eine Key-Klasse zugeschnittene Erweiterung eingeplant.