Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Speicher, der immer nur stieg

SaaS-Plattform für Echtzeit-Bildschirmfreigabe

Sechs Live-Sessions über vierzehn Stunden, um herauszufinden, warum ein Redis-Cluster immer wieder über seine Obergrenze wuchs – und um das ohne Wartungsfenster zu stoppen.

Überblick

Eine SaaS-Plattform für Echtzeit-Bildschirmfreigabe hatte einen Redis-Cluster, dessen Speicherverbrauch zwischen den Neustarts stetig stieg und nie wieder sank. Ein Neustart bereinigte das Problem – so ließ es sich leicht damit leben und leicht falsch diagnostizieren. AceMQ führte das Projekt als sechs Live-Arbeitssessions mit insgesamt vierzehn Stunden durch, mit den Engineers des Kunden im Raum statt als schriftlicher Bericht Wochen später.

Herausforderung

Zwei getrennte Probleme zeigten sich als ein einziges Symptom. Die Speicherobergrenze war fälschlich auf 7GB gesetzt, sodass die Instanz nicht verdrängte, wenn sie es hätte tun sollen, und Redis Search verschlechterte sich unter einem hochfrequenten Schreibmuster, für das der Index nicht ausgelegt war. Jedes Problem für sich wäre verkraftbar gewesen. Zusammen erzeugten sie ein Wachstum, das wie ein klassisches Leck aussah und sich den üblichen Korrekturen an der Eviction Policy widersetzte.

Umgebung

Containerisiertes Redis mit Failover über Sentinel, das den Session State eines Echtzeit-Collaboration-Produkts hält.

Vorgehen

Die Sessions waren bewusst interaktiv angelegt: reproduzieren, messen, eine Variable ändern, erneut messen. Dieses Format erlaubte es dem Team, die Fehlkonfiguration der Obergrenze vom Verhalten von Redis Search zu trennen, statt beide Korrekturen gleichzeitig einzuspielen und daraus nichts zu lernen.

Lösung

  1. Speicherobergrenze korrigiert, sodass die Eviction Policy tatsächlich am vorgesehenen Schwellenwert greifen kann
  2. Die Verschlechterung von Redis Search unter hochfrequenten Schreibvorgängen als eigene Ursache erkannt statt als Symptom des Lecks
  3. Gestaffelte Container-Rotation eingeführt, um Speicher schrittweise zurückzugewinnen und einen gleichzeitigen Neustart des Clusters zu vermeiden
  4. Sentinel-Konfiguration geprüft, damit das Failover-Verhalten während der Rotation vorhersehbar ist
  5. Die Speicher- und Index-Metriken ergänzt, die beide Ursachen früher sichtbar gemacht hätten
  6. Die Engineers des Kunden in die Lage versetzt, die Rotation selbst durchzuführen, statt dafür auf AceMQ angewiesen zu sein

Resultat

Das Speicherwachstum ging zurück, und das Produktionssystem stabilisierte sich. Im Zeitraum nach dem Projekt wurden keine kritischen Ausfälle gemeldet, und die Plattform lief während der gesamten Behebung weiter, ohne dass ein Wartungsfenster nötig war.

Technologien

RedisRedis SentinelContainersObservability

Brauchen Sie Expertensupport für Redis?

Die Senior Engineers von AceMQ für Redis haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.