Überblick
Das Unternehmen betreibt eine globale Zahlungsplattform auf Basis von Microservices, mit RabbitMQ als zentralem Messaging-Backbone. Bei über 200 Produktionsänderungen pro Woche und strengen Verfügbarkeitsanforderungen wirkt sich jede Instabilität von RabbitMQ unmittelbar auf die Zahlungsabwicklung aus.
Herausforderung
Ein Netzwerkausfall in AWS führte zu fehlerhaften Message Bindings und Zustellfehlern über Availability Zones hinweg. Wegen gestörter Kommunikation zwischen den AZs wurden Nachrichten falsch geroutet, was Doppelverarbeitung und Zustellfehler verursachte. Zugleich musste das Team für die Kompatibilität mit RabbitMQ 4.x von Classic Mirrored Queues auf Quorum Queues migrieren – ohne jede Ausfallzeit im laufenden Betrieb.
Umgebung
AWS-Deployment über mehrere AZs, RabbitMQ 3.13 mit Migrationspfad auf 4.1, Microservices-Architektur mit Spring AMQP, Orchestrierung mit Kubernetes.
Vorgehen
AceMQ bewertete die RabbitMQ-Definitionen der Produktionsumgebung umfassend, identifizierte Fehler in Policies und regulären Ausdrücken und lieferte eine Best-Practice-Dokumentation für den Einsatz von Spring Boot AMQP – einschließlich Concurrency, Bindings, Policies und Behandlung von Cluster-Partitionen.
Lösung
- Grundursache ermittelt, wie sich der AWS-Netzwerkausfall auf das Partitionsverhalten des RabbitMQ-Clusters auswirkte
- Wechsel der Partitionsbehandlung von „autoheal“ zu „pause_minority“ empfohlen, um Datenverlust zu verhindern
- Publisher Confirms und Event Listener für die Retry-Logik in den Spring-AMQP-Clients implementiert
- Strategie für dynamisches Queue-Management entworfen, um Ressourcenlecks in den Microservices zu verhindern
- Migrationspfad von Classic Mirrored Queues auf Quorum Queues für RabbitMQ 4.x geplant
Resultat
Der Kunde erreichte dank korrekter Partitionsbehandlung eine höhere Resilienz von RabbitMQ, ein geringeres Risiko von Nachrichtenverlust bei Netzwerkereignissen und einen klaren Migrationspfad zu Quorum Queues für langfristige Stabilität.