Überblick
Das Unternehmen liefert geschäftskritische Systeme für das Gate-Management an Flughäfen, die weltweit im Einsatz sind. Das RabbitMQ-Deployment auf Kubernetes litt unter fehlgeschlagenen Publishes, Problemen beim Cluster-Failover und Synchronisationsproblemen bei Quorum Queues, die die Verfügbarkeit des Systems gefährdeten.
Herausforderung
RabbitMQ lief zusammen mit PostgreSQL auf gemeinsam genutzten Kubernetes-Knoten, was zu Ressourcenkonflikten führte. Die Synchronisation der Quorum Queues schlug bei Storage mit 3.000 IOPS fehl, und Cluster-Partitionen verursachten Zombie-Bindings sowie fehlgeschlagene Publishes. Das Team musste auf RabbitMQ 4.2 upgraden und dabei die Stabilität über Azure- und VMware-Umgebungen hinweg erhalten.
Umgebung
Kubernetes-Cluster in Azure und VMware, RabbitMQ gemeinsam mit PostgreSQL auf denselben Knoten, Monitoring mit Prometheus/Grafana, Client-Anwendungen in C und Node.js.
Vorgehen
AceMQ führte ein mehrwöchiges, intensives Assessment mit täglichen Sessions durch: Disk-Benchmarks mit FIO, Analyse der Logs des RAFT-Konsensverfahrens und Entwurf von Strategien zur Isolierung der Infrastruktur. Das Team lieferte eine umfassende Dokumentation zu Failover-Verfahren, Monitoring, Backup/Restore und Federation.
Lösung
- Trennung von RabbitMQ und PostgreSQL auf dedizierte Knoten mit isoliertem SSD-Storage
- Empfehlung von Premium-SSD-v2-Disks, um die für Quorum Queues erforderliche Latenz im Submillisekundenbereich zu erreichen
- Entwicklung automatisierter Skripte zur Erkennung und Behebung hängender Quorum Queues und Zombie-Bindings
- Konfiguration von Prometheus-Metriken und Grafana-Alerting für ein proaktives Monitoring des Cluster-Zustands
- Bereitstellung eines umfassenden Runbooks für Failover, Backup/Restore und Federation
- Begleitung des Upgrade-Pfads von RabbitMQ 3.x auf 4.2 mit Validierung der Stabilität
Resultat
Der Kunde betreibt RabbitMQ auf Kubernetes nun stabil – mit sauberer Ressourcenisolierung, automatisierten Recovery-Verfahren und umfassendem Monitoring. Das sichert zuverlässiges Messaging für Flughafensysteme weltweit.