Przegląd
Procesy Boomi przesyłały regulowane transakcje między systemami, a RabbitMQ służył jako warstwa transportowa między nimi. Odtworzenie działania po zdarzeniu w centrum danych oznaczało ręczną promocję, której nikt nie ćwiczył, a gdy komunikat został skonsumowany, nie było sposobu, by go ponownie odtworzyć.
Wyzwanie
Dwie luki wzajemnie się potęgowały. Przełączanie awaryjne zależało od człowieka wykonującego nieprzećwiczoną procedurę, a ponieważ kolejki usuwają komunikaty po ich skonsumowaniu, nie istniał akceptowalny z punktu widzenia audytu sposób odtworzenia tego, co przepłynęło w trakcie incydentu. Oba problemy trzeba było rozwiązać bez naruszania mechanizmów kontrolnych, według których środowisko jest audytowane.
Środowisko
Procesy integracyjne Boomi działające na RabbitMQ na platformie kontenerowej, obejmujące podstawowe i zapasowe (DR) centrum danych.
Podejście
AceMQ przygotowało projekt disaster recovery obejmujący przełączanie ręczne i automatyczne, łącznie z tym, co komercyjna dystrybucja RabbitMQ zmienia w opcji automatycznej. Równolegle oceniliśmy konwersję wybranych kolejek na strumienie (streams), tak aby komunikaty pozostawały możliwe do odtworzenia po skonsumowaniu, i określiliśmy warstwę buforującą, dzięki której procesy Boomi przy niedostępności brokera działają w trybie ograniczonym, zamiast kończyć się błędem.
Rozwiązanie
- Projekt disaster recovery porównujący ręczną promocję z automatycznym przełączaniem awaryjnym
- Wymiarowanie klastrów w podstawowym i zapasowym centrum danych
- Ocena konwersji kolejek na strumienie, aby komunikaty pozostawały możliwe do odtworzenia po skonsumowaniu
- Przegląd mechanizmu odtwarzania pod kątem wymogów audytowych i zasad retencji obowiązujących w środowisku
- Warstwa buforująca, dzięki której procesy integracyjne w trakcie awarii działają w trybie ograniczonym, zamiast kończyć się błędem
- Runbook operacyjny i szkolenie dla zespołów wsparcia i deweloperskich
Efekt
Środowisko integracyjne zyskało przećwiczoną procedurę odtwarzania, możliwą do obrony odpowiedź na pytanie, co działo się w trakcie awarii, oraz runbook, który własni inżynierowie klienta mogą wykonać bez czekania na dostawcę.