Überblick
Eine Collaboration-Plattform betrieb Redis als Session- und Suchschicht hinter einem Produkt für Endkunden. Zwischen den Neustarts stieg der Speicherverbrauch stetig an, bis der Cluster abstürzte – und das Muster hatte mehrere Runden der Neudimensionierung überstanden.
Herausforderung
Mehr Speicher half nicht, weil das Wachstum nicht proportional zum Traffic war. Zudem hatte der Cluster eine Speicherobergrenze, die ohne Einheit gesetzt worden war – das beabsichtigte Limit wurde also nie tatsächlich angewendet. Neustarts gaben zwar Speicher frei, ließen aber Sessions verloren gehen.
Umgebung
Containerisiertes Redis mit Replicas und Failover über Sentinel, betrieben in einer Managed-Cloud-Umgebung hinter einer Workload mit hochfrequenten Schreibzugriffen.
Vorgehen
Die Engineers von AceMQ reproduzierten das Wachstum in einem CI-Cluster, grenzten es auf den Volltextindex ein, indem sie den Index löschten, neu aufbauten und beobachteten, wie der Speicher zurückging, und bestätigten, dass das Verhalten einem bekannten Defekt in der eingesetzten Version des Suchmoduls entsprach. Ein gestaffelter Neustart der Replicas vor dem Master verschaffte dem Team eine sichere Übergangslösung, während der Upgrade-Pfad bewertet wurde.
Lösung
- Speicherwachstum in einem Nicht-Produktionscluster reproduziert, um die Ursache einzugrenzen
- Leck auf das Volltext-Suchmodul zurückgeführt statt auf die Anwendungs-Workload
- Eine ohne Einheit konfigurierte Speicherobergrenze korrigiert
- Explizite Eviction-Policy gesetzt, damit der Cluster kontrolliert degradiert statt abzustürzen
- Gestaffelte Neustarts – erst die Replicas, dann der Master – eingeführt, um Failover-Risiken zu vermeiden
- Valkey als unterstützten langfristigen Pfad bewertet, mit Rollout über Feature Flags
Resultat
Speicherwachstum ist kein Incident mehr. Der Cluster bleibt zwischen den Wartungsfenstern stabil, das Team verfügt über eine dokumentierte Gegenmaßnahme, die es selbst ausführen kann, und die Migration zu Valkey lief als geplante Änderung statt als Notfall.