Zurück zu allen Kundenbeispielen

FehlerbehebungSoftware / Digitale Plattformen

Die Latenzspitze finden, die nur im p99.9 auftaucht

Plattform für Real-Time Bidding

Beseitigung periodischer Latenzspitzen von mehreren hundert Millisekunden, die auf Fork-Stalls bei RDB-Snapshots zurückgingen und durch Transparent Huge Pages verstärkt wurden.

Überblick

Eine Bidding-Plattform arbeitete mit einem harten Latenzbudget pro Request und verlor in einem wiederkehrenden Rhythmus Auktionen durch Timeouts. Die durchschnittliche Redis-Latenz sah unauffällig aus; im p99.9 zeigten sich jedoch in regelmäßigen Abständen Spitzen von mehreren hundert Millisekunden. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen.

Herausforderung

Das Intervall der Spitzen entsprach dem Zeitplan der RDB-Snapshots. Beim Forken eines großen Redis-Prozesses werden die Page Tables kopiert, und bei aktivierten Transparent Huge Pages vervielfachten sich die Copy-on-Write-Kosten nach dem Fork: Jeder Schreibzugriff auf eine gemeinsam genutzte Huge Page erzwang eine Kopie von zwei Megabyte statt von vier Kilobyte. In der Durchschnittslatenz war der Effekt unsichtbar; er zeigte sich nur im Tail – genau dort, wo dieser Workload zu Hause war.

Umgebung

Redis auf Bare-Metal-Linux-Hosts für Echtzeit-Gebotsentscheidungen unter einem strikten Latenzbudget.

Vorgehen

AceMQ korrelierte die Zeitpunkte der Spitzen mit der Fork-Dauer aus den Redis-Logs und mit Speicherstatistiken des Kernels, um den Mechanismus zu bestätigen statt nur zu vermuten. Die Korrekturen setzten an der Host-Konfiguration, der Persistenzstrategie und dem Speicherbedarf an, der jeden Fork teuer machte.

Lösung

  1. Tail-Latenzspitzen mit geloggter Fork-Dauer und Speicherstatistiken des Kernels korreliert, um den Mechanismus zu bestätigen
  2. Transparent Huge Pages auf den Redis-Hosts deaktiviert und die Änderung anhand der Fork-Kosten validiert
  3. Snapshots auf die Replicas verlagert, sodass der Primary im bedienenden Pfad nicht mehr forkt
  4. Persistenzstrategie und Rewrite-Schwellen anhand der realen Durability-Anforderungen der Plattform geprüft
  5. Speicherbedarf pro Instanz durch Änderungen an der Key-Struktur reduziert, damit jeder verbleibende Fork günstiger ist
  6. Tail-Latenz-Perzentile und Fork-Dauer als vollwertige überwachte Signale instrumentiert

Resultat

Die periodischen Tail-Spitzen sind verschwunden, und die p99.9-Latenz liegt wieder innerhalb des Budgets der Plattform. Auktions-Timeouts, die auf die Cache-Schicht zurückgingen, treten nicht mehr auf.

Technologien

RedisLinuxKubernetesPrometheus

Haben Sie ein Produktionsproblem mit Redis?

Die Senior Engineers von AceMQ für Redis haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.