Zurück zu allen Kundenbeispielen

FehlerbehebungSoftware / Digitale Plattformen

Speicherwachstum, das nach einem Workload-Problem aussah, entpuppte sich als Indexierungs-Bug

Plattform für digitale Zusammenarbeit

Ein Redis-Cluster in Produktion stürzte wegen Speicherwachstums ab, das auf den Volltextindex zurückging statt auf die Workload. AceMQ diagnostizierte das Leck, stabilisierte den Cluster und skizzierte den Migrationspfad zu Valkey.

Überblick

Eine Collaboration-Plattform betrieb Redis als Session- und Suchschicht hinter einem Produkt für Endkunden. Zwischen den Neustarts stieg der Speicherverbrauch stetig an, bis der Cluster abstürzte – und das Muster hatte mehrere Runden der Neudimensionierung überstanden.

Herausforderung

Mehr Speicher half nicht, weil das Wachstum nicht proportional zum Traffic war. Zudem hatte der Cluster eine Speicherobergrenze, die ohne Einheit gesetzt worden war – das beabsichtigte Limit wurde also nie tatsächlich angewendet. Neustarts gaben zwar Speicher frei, ließen aber Sessions verloren gehen.

Umgebung

Containerisiertes Redis mit Replicas und Failover über Sentinel, betrieben in einer Managed-Cloud-Umgebung hinter einer Workload mit hochfrequenten Schreibzugriffen.

Vorgehen

Die Engineers von AceMQ reproduzierten das Wachstum in einem CI-Cluster, grenzten es auf den Volltextindex ein, indem sie den Index löschten, neu aufbauten und beobachteten, wie der Speicher zurückging, und bestätigten, dass das Verhalten einem bekannten Defekt in der eingesetzten Version des Suchmoduls entsprach. Ein gestaffelter Neustart der Replicas vor dem Master verschaffte dem Team eine sichere Übergangslösung, während der Upgrade-Pfad bewertet wurde.

Lösung

  1. Speicherwachstum in einem Nicht-Produktionscluster reproduziert, um die Ursache einzugrenzen
  2. Leck auf das Volltext-Suchmodul zurückgeführt statt auf die Anwendungs-Workload
  3. Eine ohne Einheit konfigurierte Speicherobergrenze korrigiert
  4. Explizite Eviction-Policy gesetzt, damit der Cluster kontrolliert degradiert statt abzustürzen
  5. Gestaffelte Neustarts – erst die Replicas, dann der Master – eingeführt, um Failover-Risiken zu vermeiden
  6. Valkey als unterstützten langfristigen Pfad bewertet, mit Rollout über Feature Flags

Resultat

Speicherwachstum ist kein Incident mehr. Der Cluster bleibt zwischen den Wartungsfenstern stabil, das Team verfügt über eine dokumentierte Gegenmaßnahme, die es selbst ausführen kann, und die Migration zu Valkey lief als geplante Änderung statt als Notfall.

Technologien

ValkeyRedisKubernetes

Haben Sie ein Produktionsproblem mit Valkey?

Die Senior Engineers von AceMQ für Valkey haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.