Przegląd
Platforma bankowa korzystała z dekodowania logicznego do zasilania potoku change data capture. Gdy konsument po stronie odbiorczej się zawiesił, slot replikacji przestał się przesuwać, a serwer podstawowy zatrzymywał każdy segment WAL od momentu zawieszenia. Dysk zapełnił się dwukrotnie, zanim AceMQ przejęło wsparcie z przypisanymi starszymi inżynierami i bezpośrednią eskalacją, bez pierwszej linii wsparcia (tier 1).
Wyzwanie
Zatrzymany slot replikacji to jeden z nielicznych stanów, które mogą położyć serwer podstawowy PostgreSQL mechanizmem niezwiązanym z obciążeniem zapytaniami. Monitoring klienta obserwował zajętość dysku, ale nie opóźnienie slotów, więc pierwszym sygnałem był alert dyskowy, gdy zapasu zostało na kilka minut. Odróżnienie chwilowo wolnego konsumenta od faktycznie porzuconego slotu wymagało oceny, której zespół dyżurny nie był w stanie zapewnić.
Środowisko
PostgreSQL w AWS z replikacją logiczną zasilającą potok change data capture oparty na Debezium i Kafce.
Podejście
AceMQ wprowadziło opóźnienie slotów jako sygnał pierwszej kategorii, monitorowany przed zajętością dysku, a następnie ustaliło zasady cyklu życia slotów: co uruchamia analizę, co uruchamia restart konsumenta, a co uzasadnia usunięcie slotu. Skonfigurowano zabezpieczenia, dzięki którym zawieszony konsument pogarsza działanie potoku, a nie serwera podstawowego.
Rozwiązanie
- Dodanie opóźnienia slotów replikacji i rozmiaru zatrzymanego WAL do monitoringu z progami ustawionymi z dużym wyprzedzeniem przed wyczerpaniem dysku
- Konfiguracja max_slot_wal_keep_size, dzięki której zawieszony konsument unieważnia swój slot, zamiast zapełniać wolumen WAL
- Wydzielenie WAL na osobny wolumen z niezależną pojemnością i alertami
- Udokumentowanie zasad cyklu życia slotów obejmujących analizę, restart konsumenta i bezpieczne usuwanie slotów
- Przegląd ustawień checkpointów i rozmiaru WAL, które powodowały niepotrzebną amplifikację zapisów
- Ustanowienie eskalacji 24/7 bezpośrednio do starszych inżynierów PostgreSQL w przypadku incydentów dotyczących slotów i replikacji
Efekt
Incydenty z wolumenem WAL całkowicie ustały. Zawieszenia konsumentów ujawniają się teraz jako alerty o opóźnieniu potoku na wiele godzin, zanim mogłyby wpłynąć na serwer podstawowy, a zespół klienta obsługuje rutynowe przypadki bez eskalacji.