Überblick
Boomi-Prozesse übertrugen regulierte Transaktionen zwischen Systemen, mit RabbitMQ als Transportschicht dazwischen. Die Wiederherstellung nach einem Rechenzentrumsausfall bedeutete eine manuelle Promotion, die niemand geübt hatte – und eine einmal konsumierte Nachricht ließ sich nicht erneut abspielen.
Herausforderung
Zwei Lücken verstärkten sich gegenseitig. Das Failover hing davon ab, dass ein Mensch einem nie geprobten Verfahren folgt, und weil Queues Nachrichten beim Konsumieren verwerfen, gab es keinen auditfesten Weg, nachzuvollziehen, was während eines Incidents geflossen war. Beides musste gelöst werden, ohne die Kontrollen zu brechen, gegen die die Landschaft auditiert wird.
Umgebung
Boomi-Integrationsprozesse über RabbitMQ auf einer Container-Plattform, verteilt auf ein primäres und ein Disaster-Recovery-Rechenzentrum.
Vorgehen
AceMQ erstellte ein Disaster-Recovery-Design für manuelles und automatisches Failover, einschließlich dessen, was die kommerzielle RabbitMQ-Distribution an der automatischen Option ändert. Parallel dazu bewerteten wir die Umwandlung ausgewählter Queues in Streams, damit Nachrichten auch nach dem Konsumieren erneut abspielbar bleiben, und spezifizierten eine Pufferschicht, damit Boomi-Prozesse bei nicht erreichbarem Broker eingeschränkt weiterlaufen statt auszufallen.
Lösung
- Disaster-Recovery-Design mit Vergleich von manueller Promotion und automatischem Failover
- Cluster-Sizing über das primäre und das DR-Rechenzentrum
- Bewertung der Umwandlung von Queues in Streams, damit Nachrichten nach dem Konsumieren erneut abspielbar bleiben
- Prüfung des Replays im Abgleich mit den Audit- und Aufbewahrungskontrollen der Landschaft
- Pufferschicht, damit Integrationsprozesse bei einem Ausfall eingeschränkt weiterlaufen statt zu scheitern
- Betriebs-Runbook und Schulung für die Support- und Entwicklungsteams
Resultat
Die Integrationslandschaft verfügt nun über ein geprobtes Wiederherstellungsverfahren, eine belastbare Antwort auf die Frage, was während eines Ausfalls passiert ist, und ein Runbook, das die eigenen Engineers ausführen können, ohne auf einen Anbieter warten zu müssen.