Überblick
Das Unternehmen entwickelt eine der weltweit führenden einheitlichen Plattformen für physische Sicherheit. Seine RabbitMQ-Cluster unter Windows litten unter Verzögerungen bei der Leader Election, die zu mehrstündigen Ausfällen führten.
Herausforderung
Ein bekannter RabbitMQ-Bug verursachte unter hoher Last Verzögerungen bei der Leader Election von mehreren Stunden und damit erhebliche Ausfallzeiten für den Betrieb der Sicherheitsplattform. Das Windows-basierte Deployment erhöhte die betriebliche Komplexität, und der Kunde musste eine Migration zu Linux planen und dabei die Stabilität in einer streng kontrollierten Deployment-Umgebung wahren.
Umgebung
Windows-basiertes RabbitMQ-Deployment, vom Kunden vorgegebene Umgebungsbeschränkungen, Cluster hinter einem Load Balancer mit DNS-basiertem Failover.
Vorgehen
AceMQ stellte gezielt Beratungsstunden für Versions-Patches, die Konfiguration des Load Balancers, Schulungen zur Fehlerbehebung und die Planung der Linux-Migration bereit. Zum Projekt gehörte ein wiederholbares Playbook für RabbitMQ-Neustarts und Abläufe zur Fehlerbehebung.
Lösung
- Den konkreten RabbitMQ-Versions-Patch identifiziert, der den Bug bei der Leader Election behebt
- Eine Teststrategie in einer Staging-Umgebung vor dem Rollout in Produktion konzipiert
- Ein DNS-basiertes Load-Balancer-Setup für stabilere Client-Verbindungen konfiguriert
- Ein wiederholbares Playbook für RabbitMQ-Neustarts für das Supportpersonal entwickelt
- Ein Schulungsprogramm zur Fehlerbehebung für die internen Supportteams erstellt
- Den Migrationspfad von Windows zu Linux geplant, einschließlich einer Prüfung von Kubernetes
Resultat
Der Kunde hat das kritische Problem mit der Leader Election gelöst, eigene Kompetenzen in der Fehlerbehebung aufgebaut und verfügt über einen klaren Migrationspfad von Windows zu Linux für einen effizienteren Betrieb.