Überblick
Eine Bidding-Plattform arbeitete mit einem harten Latenzbudget pro Request und verlor in einem wiederkehrenden Rhythmus Auktionen durch Timeouts. Die durchschnittliche Redis-Latenz sah unauffällig aus; im p99.9 zeigten sich jedoch in regelmäßigen Abständen Spitzen von mehreren hundert Millisekunden. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen.
Herausforderung
Das Intervall der Spitzen entsprach dem Zeitplan der RDB-Snapshots. Beim Forken eines großen Redis-Prozesses werden die Page Tables kopiert, und bei aktivierten Transparent Huge Pages vervielfachten sich die Copy-on-Write-Kosten nach dem Fork: Jeder Schreibzugriff auf eine gemeinsam genutzte Huge Page erzwang eine Kopie von zwei Megabyte statt von vier Kilobyte. In der Durchschnittslatenz war der Effekt unsichtbar; er zeigte sich nur im Tail – genau dort, wo dieser Workload zu Hause war.
Umgebung
Redis auf Bare-Metal-Linux-Hosts für Echtzeit-Gebotsentscheidungen unter einem strikten Latenzbudget.
Vorgehen
AceMQ korrelierte die Zeitpunkte der Spitzen mit der Fork-Dauer aus den Redis-Logs und mit Speicherstatistiken des Kernels, um den Mechanismus zu bestätigen statt nur zu vermuten. Die Korrekturen setzten an der Host-Konfiguration, der Persistenzstrategie und dem Speicherbedarf an, der jeden Fork teuer machte.
Lösung
- Tail-Latenzspitzen mit geloggter Fork-Dauer und Speicherstatistiken des Kernels korreliert, um den Mechanismus zu bestätigen
- Transparent Huge Pages auf den Redis-Hosts deaktiviert und die Änderung anhand der Fork-Kosten validiert
- Snapshots auf die Replicas verlagert, sodass der Primary im bedienenden Pfad nicht mehr forkt
- Persistenzstrategie und Rewrite-Schwellen anhand der realen Durability-Anforderungen der Plattform geprüft
- Speicherbedarf pro Instanz durch Änderungen an der Key-Struktur reduziert, damit jeder verbleibende Fork günstiger ist
- Tail-Latenz-Perzentile und Fork-Dauer als vollwertige überwachte Signale instrumentiert
Resultat
Die periodischen Tail-Spitzen sind verschwunden, und die p99.9-Latenz liegt wieder innerhalb des Budgets der Plattform. Auktions-Timeouts, die auf die Cache-Schicht zurückgingen, treten nicht mehr auf.