Überblick
Das Unternehmen betreibt Dienste für den Zahlungsaustausch mit RabbitMQ, das an BizTalk und Dynamics 365 angebunden ist. Die manuelle Verwaltung der Error-Queues band erheblich Personal – mehrmals täglich mussten hängende Nachrichten von Hand bereinigt werden.
Herausforderung
Engpässe in den nachgelagerten Diensten von BizTalk und D365 verursachten Fehler vom Typ 400 Bad Request und fluteten die Error-Queues, die mehrmals täglich manuelle Eingriffe erforderten. Ohne automatisierte Retry-Logik und Dead-Letter-Handling verbrachten die Mitarbeitenden Stunden mit dem Leeren von Error-Queues, statt sich auf das Geschäft zu konzentrieren. Hinzu kamen Probleme bei der Verwaltung des Plattenplatzes und der Logrotation, die den Betrieb instabil machten.
Umgebung
Windows-basiertes RabbitMQ-Deployment, Integrationsschicht mit BizTalk, Dynamics 365, IBM MQ für Vorgänge mit Connect Direct, mehrere Produktionsumgebungen.
Vorgehen
AceMQ führte eine umfassende Bewertung durch und identifizierte kritische Maßnahmen sowie Maßnahmen mittlerer Priorität. Das Team setzte automatisierte Retry-Strategien mit Dead Letter Exchanges und dem Shovel-Plugin von RabbitMQ um und ging zugleich betriebliche Themen wie Logrotation und Alerting zum Plattenplatz an.
Lösung
- Dead-Letter-Policy in RabbitMQ mit konfigurierbarer Zahl von Retries und Dead Letter Exchanges umgesetzt
- Shovel-Plugin für automatisierte Retries von Nachrichten aus den Error-Queues konfiguriert
- Nack-basierte Retry-Strategie mit Verzögerungsmechanismen entworfen, um nachgelagerte Systeme zu entlasten
- Logrotation mit Aufbewahrung von 10 komprimierten Logdateien und Alerting zum Plattenplatz bei einer Schwelle von 2 GB umgesetzt
- Monitoring von Consumer-Metriken zur Erkennung von Backpressure eingerichtet
- Historisches Dead-Letter-Archiv für Analysen nach Incidents angelegt
Resultat
Der Kunde konnte die manuellen Eingriffe in Error-Queues deutlich reduzieren – von mehreren pro Tag auf seltene Ausnahmen. Automatisiertes Retry-Handling und verbessertes Monitoring warnen frühzeitig vor Problemen in nachgelagerten Systemen, bevor sie den Betrieb beeinträchtigen.