Przegląd
Firma prowadzi globalną platformę płatniczą opartą na mikroserwisach, w której RabbitMQ stanowi główny szkielet komunikacji. Przy ponad 200 zmianach produkcyjnych tygodniowo i rygorystycznych wymaganiach dostępności każda niestabilność RabbitMQ bezpośrednio wpływa na przetwarzanie płatności.
Wyzwanie
Awaria sieci w AWS spowodowała nieprawidłowe powiązania (bindings) komunikatów i błędy dostarczania między strefami dostępności. Z powodu przerw w komunikacji między strefami AZ komunikaty były nieprawidłowo routowane, co prowadziło do podwójnego przetwarzania i błędów dostarczania. Zespół musiał przejść z klasycznych kolejek lustrzanych (classic mirrored queues) na kolejki kworum (quorum queues), aby zapewnić zgodność z RabbitMQ 4.x, przy zachowaniu pracy bez przestojów.
Środowisko
Wdrożenie w AWS w wielu strefach dostępności, RabbitMQ 3.13 ze ścieżką migracji do 4.1, architektura mikroserwisów oparta na Spring AMQP, orkiestracja Kubernetes.
Podejście
AceMQ przeprowadziło kompleksową ocenę produkcyjnych definicji RabbitMQ, zidentyfikowało błędy w politykach i wyrażeniach regularnych oraz dostarczyło dokumentację najlepszych praktyk korzystania ze Spring Boot AMQP, obejmującą współbieżność, powiązania, polityki i obsługę partycjonowania klastra.
Rozwiązanie
- Zdiagnozowanie przyczyny źródłowej wpływu awarii sieci AWS na zachowanie klastra RabbitMQ przy partycjonowaniu sieci
- Rekomendacja przejścia z trybu obsługi partycji 'auto heal' na 'pause minority', aby zapobiec utracie danych
- Wdrożenie potwierdzeń wydawcy (publisher confirms) i nasłuchiwaczy zdarzeń dla logiki ponowień w klientach Spring AMQP
- Zaprojektowanie strategii dynamicznego zarządzania kolejkami, aby zapobiec wyciekom zasobów w mikroserwisach
- Zaplanowanie ścieżki migracji z klasycznych kolejek lustrzanych na kolejki kworum dla RabbitMQ 4.x
Efekt
Klient zwiększył odporność RabbitMQ dzięki prawidłowej obsłudze partycji, ograniczył ryzyko utraty komunikatów podczas zdarzeń sieciowych i zyskał jasną ścieżkę migracji na kolejki kworum, zapewniającą długoterminową stabilność.