Przegląd
Firma prowadzi serwisy wymiany płatności, w których RabbitMQ jest zintegrowany z BizTalk i Dynamics 365. Ręczne zarządzanie kolejkami błędów pochłaniało znaczną część czasu zespołu, a usuwanie zablokowanych komunikatów wymagało wielu interwencji dziennie.
Wyzwanie
Wąskie gardła w usługach BizTalk i D365 powodowały błędy 400 Bad Request, które zalewały kolejki błędów i wymagały ręcznej interwencji kilka razy dziennie. Brak automatycznej logiki ponowień i obsługi dead-letter sprawiał, że pracownicy spędzali godziny na czyszczeniu kolejek błędów, zamiast skupiać się na działalności biznesowej. Dodatkowo zarządzanie miejscem na dysku i rotacja logów powodowały niestabilność operacyjną.
Środowisko
Wdrożenie RabbitMQ na Windows, warstwa integracyjna BizTalk, Dynamics 365, IBM MQ dla operacji Connect Direct, wiele środowisk produkcyjnych.
Podejście
AceMQ przeprowadziło kompleksową ocenę, która wskazała zadania naprawcze o krytycznym i średnim priorytecie. Zespół wdrożył automatyczne strategie ponowień z wykorzystaniem dead-letter exchange w RabbitMQ i pluginu Shovel, a także zajął się kwestiami operacyjnymi, takimi jak rotacja logów i alerty o zajętości dysku.
Rozwiązanie
- Wdrożenie polityki dead-letter w RabbitMQ z konfigurowalną liczbą ponowień i dead-letter exchange
- Konfiguracja pluginu Shovel do automatycznego ponawiania komunikatów z kolejek błędów
- Zaprojektowanie strategii ponowień opartej na nack z mechanizmami opóźnienia, które zmniejszają presję na systemy docelowe
- Wdrożenie rotacji logów z przechowywaniem 10 skompresowanych plików oraz alertów o miejscu na dysku przy progu 2 GB
- Konfiguracja monitoringu metryk konsumentów do wykrywania back-pressure
- Utworzenie historycznego archiwum dead-letter do analizy poincydentalnej
Efekt
Klient znacząco ograniczył ręczne interwencje w kolejkach błędów – z wielu operacji dziennie do rzadkich wyjątków. Automatyczna obsługa ponowień i lepszy monitoring zapewniają wczesne ostrzeganie o problemach w systemach docelowych, zanim wpłyną one na działalność.