Przegląd
Pulsar przechowuje komunikaty, dopóki nie potwierdzą ich wszystkie subskrypcje. Subskrypcja, która przestała konsumować – wycofana usługa, konsument po awarii, testowy klient, którego nikt nie usunął – utrzymuje backlog, aż zostanie osiągnięty limit przestrzeni nazw, a wtedy producenci są dławieni lub odrzucani. AceMQ szybko diagnozuje ten problem i naprawia leżące u jego podstaw polityki.
Wyzwanie
Zgłaszany objaw to producenci, którzy zaczęli zwracać błędy lub drastycznie zwolnili, choć po ich stronie nic się nie zmieniło. Przyczyną jest polityka limitu backlogu, która osiągnęła próg z akcją producer_request_hold lub producer_exception. Ustalenie, która subskrypcja za to odpowiada, wymaga sprawdzenia backlogu każdej subskrypcji w całej przestrzeni nazw, a polityki retencji i TTL wchodzą ze sobą w interakcje, które łatwo źle zinterpretować, gdy ktoś próbuje to naprawić pod presją.
Środowisko
Klastry Apache Pulsar na Kubernetes lub bare metal z wielodostępnymi przestrzeniami nazw, różnymi typami subskrypcji, a w niektórych wdrożeniach także z geo-replikacją.
Podejście
Inżynierowie AceMQ sprawdzają backlog i pozycję potwierdzeń każdej subskrypcji w przestrzeni nazw, aby znaleźć subskrypcję blokującą retencję, i ustalają, czy jest to aktywny konsument, który pozostał w tyle, czy porzucony. Następnie stosują odpowiednie odciążenie – pominięcie lub wygaszenie porzuconego backlogu albo poprawę przepustowości aktywnego konsumenta – po czym korygują zestaw polityk tak, aby przy następnym razie awaria była widoczna.
Rozwiązanie
- Docelowe czasy reakcji od 15 minut, zależnie od planu, z przypisanymi starszymi inżynierami, 24/7, bez wstępnej selekcji przez pierwszą linię
- Sprawdzenie backlogu i pozycji potwierdzeń każdej subskrypcji w celu wskazania subskrypcji blokującej retencję
- Przegląd polityki limitu backlogu i akcji producer_request_hold, producer_exception i consumer_backlog_eviction
- Uspójnienie polityk retencji i TTL komunikatów, aby porzucone subskrypcje wygasały, zamiast gromadzić zaległości w nieskończoność
- Diagnoza przepustowości konsumentów aktywnych subskrypcji, obejmująca rozmiar kolejki odbiorcy, ack timeout i ponowne dostarczanie po negatywnym potwierdzeniu
- Zarządzanie cyklem życia subskrypcji i alerty, dzięki którym porzucone subskrypcje i rosnący backlog są wykrywane przed egzekwowaniem limitu
Efekt
Dławienie producentów ustępuje jeszcze w trakcie incydentu, a późniejsze prace nad politykami sprawiają, że porzucone subskrypcje wygasają samoczynnie, a rosnący backlog uruchamia alert na długo przed osiągnięciem limitu.