Überblick
Eine SaaS-Plattform für Echtzeit-Bildschirmfreigabe hatte einen Redis-Cluster, dessen Speicherverbrauch zwischen den Neustarts stetig stieg und nie wieder sank. Ein Neustart bereinigte das Problem – so ließ es sich leicht damit leben und leicht falsch diagnostizieren. AceMQ führte das Projekt als sechs Live-Arbeitssessions mit insgesamt vierzehn Stunden durch, mit den Engineers des Kunden im Raum statt als schriftlicher Bericht Wochen später.
Herausforderung
Zwei getrennte Probleme zeigten sich als ein einziges Symptom. Die Speicherobergrenze war fälschlich auf 7GB gesetzt, sodass die Instanz nicht verdrängte, wenn sie es hätte tun sollen, und Redis Search verschlechterte sich unter einem hochfrequenten Schreibmuster, für das der Index nicht ausgelegt war. Jedes Problem für sich wäre verkraftbar gewesen. Zusammen erzeugten sie ein Wachstum, das wie ein klassisches Leck aussah und sich den üblichen Korrekturen an der Eviction Policy widersetzte.
Umgebung
Containerisiertes Redis mit Failover über Sentinel, das den Session State eines Echtzeit-Collaboration-Produkts hält.
Vorgehen
Die Sessions waren bewusst interaktiv angelegt: reproduzieren, messen, eine Variable ändern, erneut messen. Dieses Format erlaubte es dem Team, die Fehlkonfiguration der Obergrenze vom Verhalten von Redis Search zu trennen, statt beide Korrekturen gleichzeitig einzuspielen und daraus nichts zu lernen.
Lösung
- Speicherobergrenze korrigiert, sodass die Eviction Policy tatsächlich am vorgesehenen Schwellenwert greifen kann
- Die Verschlechterung von Redis Search unter hochfrequenten Schreibvorgängen als eigene Ursache erkannt statt als Symptom des Lecks
- Gestaffelte Container-Rotation eingeführt, um Speicher schrittweise zurückzugewinnen und einen gleichzeitigen Neustart des Clusters zu vermeiden
- Sentinel-Konfiguration geprüft, damit das Failover-Verhalten während der Rotation vorhersehbar ist
- Die Speicher- und Index-Metriken ergänzt, die beide Ursachen früher sichtbar gemacht hätten
- Die Engineers des Kunden in die Lage versetzt, die Rotation selbst durchzuführen, statt dafür auf AceMQ angewiesen zu sein
Resultat
Das Speicherwachstum ging zurück, und das Produktionssystem stabilisierte sich. Im Zeitraum nach dem Projekt wurden keine kritischen Ausfälle gemeldet, und die Plattform lief während der gesamten Behebung weiter, ohne dass ein Wartungsfenster nötig war.