Überblick
Eine Behörde im öffentlichen Sektor betrieb Redis für mehrere Workloads mit unterschiedlichen Anforderungen an die Dauerhaftigkeit, aber mit einer einzigen übernommenen Konfiguration. Niemand konnte sagen, welche Daten einen Host-Ausfall überstehen und welche nicht. AceMQ bewertete das Deployment anhand der realen Anforderungen jedes Workloads.
Herausforderung
Die Persistenzoptionen von Redis wägen Dauerhaftigkeit gegen Latenz ab – auf eine Weise, die leicht falsch konfiguriert ist und erst bei einem Ausfall auffällt. Die Instanzen der Behörde nutzten Snapshot-Intervalle, bei denen Schreibvorgänge mehrerer Minuten verloren gehen würden, während einige Workloads als dauerhaft galten. Replikation und Failover waren nie getestet worden, daher waren Promotion-Verhalten und Datenverlust beim Failover unbekannt.
Umgebung
On-Premises-Instanzen von Redis mit Failover über Sentinel für Caching-, Queuing- und Session-Workloads.
Vorgehen
AceMQ klassifizierte jeden Workload danach, welchen Verlust er tatsächlich verkraften kann, und verglich das mit dem, was die aktuelle Konfiguration garantierte. Das Failover wurde gezielt ausgelöst und der Datenverlust gemessen statt geschätzt – so ist die Lücke zwischen Annahme und tatsächlichem Verhalten mit Belegen dokumentiert.
Lösung
- Jeden Workload nach tolerierbarem Datenverlust klassifiziert und mit dem verglichen, was die Konfiguration tatsächlich garantiert
- Snapshot-Intervalle und fsync-Policy des Append-only File pro Instanz im Abgleich mit diesen Anforderungen geprüft
- Sentinel-Failover gezielt ausgelöst und tatsächlichen Datenverlust sowie Promotion-Zeit gemessen
- Replikationstopologie, Quorum-Konfiguration und Split-Brain-Risiko bewertet
- Wiederherstellungsverfahren aus vorhandenen Persistenzdateien mit zeitlich gemessenen Recovery-Tests verifiziert
- Matrix zur Dauerhaftigkeit pro Workload mit den Konfigurationsänderungen geliefert, die jede Lücke schließen
Resultat
Die Behörde erhielt eine dokumentierte, belegte Aussage darüber, was jeder Workload übersteht – anstelle einer Annahme, die nie getestet worden war. Zwei Workloads, die als dauerhaft galten, waren es nicht und wurden umkonfiguriert, bevor ein Ausfall es bewies.