Przegląd
Platforma ubezpieczeniowa zaczęła zgłaszać ostrzeżenia, że do uruchomienia ochrony przed zawinięciem identyfikatorów transakcji brakuje zaledwie kilkudziesięciu milionów transakcji — co wymusiłoby przejście klastra w tryb tylko do odczytu. AceMQ zaangażowano w ramach awaryjnego SLA i rozwiązywało problem wspólnie z zespołem platformowym klienta.
Wyzwanie
Autovacuum na największych tabelach było wielokrotnie przerywane i uruchamiane od nowa, więc horyzont zamrożenia (freeze) nigdy się nie przesuwał. Długotrwałe sesje analityczne oraz pula połączeń pozostających w stanie idle in transaction blokowały horyzont xmin, przez co nawet udane przebiegi vacuum nie mogły odzyskać krotek. Ustawienia opóźnienia kosztowego odziedziczone po znacznie mniejszym wdrożeniu ograniczały autovacuum do ułamka dostępnej przepustowości I/O.
Środowisko
Serwer główny PostgreSQL z replikami strumieniowymi na sprzęcie on-premises, obsługujący administrację polisami i likwidację szkód.
Podejście
Najpilniejszym zadaniem było przesunięcie horyzontu zamrożenia na tabelach o najwyższym wieku, zanim klaster sam przełączy się w tryb ochronny. AceMQ przeprowadziło ukierunkowane ręczne operacje vacuum freeze na tych tabelach z dostrojonymi ustawieniami workerów, jednocześnie usuwając przeszkody, które nie pozwalały autovacuum dokończyć pracy — tak aby poprawka utrzymała się także po incydencie.
Rozwiązanie
- Uszeregowanie tabel według wieku zamrożonego identyfikatora transakcji i uruchomienie ukierunkowanego vacuum freeze najpierw na najbardziej zagrożonych
- Zakończenie sesji idle in transaction i długotrwałych snapshotów blokujących horyzont xmin
- Ponowne dostrojenie opóźnienia kosztowego, limitu kosztu i liczby workerów autovacuum do rzeczywistej przepustowości I/O sprzętu
- Ustawienie progów autovacuum dla poszczególnych dużych tabel zamiast polegania na procentowym skalowaniu na poziomie całego klastra
- Wprowadzenie limitu czasu instrukcji (statement timeout) i limitu czasu sesji idle in transaction, aby zapobiec nawrotom problemu po stronie warstwy aplikacji
- Monitorowanie wieku tabel, liczby martwych krotek i zdarzeń przerwania autovacuum
Efekt
Horyzont zamrożenia przesunął się daleko od progu wraparound, a klaster ani razu nie przeszedł w tryb tylko do odczytu. Autovacuum kończy teraz pracę na dużych tabelach podczas normalnej eksploatacji, a rozrost (bloat) narastający od miesięcy zaczął być odzyskiwany samoczynnie.