Powrót do wszystkich studiów przypadków

Usuwanie problemówWiele branż

Usunięcie ryzyka wraparound bez wyłączania bazy danych

Dostawca usług ubezpieczeniowych

Interwencja awaryjna w bazie danych zbliżającej się do zawinięcia identyfikatorów transakcji (wraparound), ponieważ autovacuum nie nadążało z obsługą największych tabel.

Przegląd

Platforma ubezpieczeniowa zaczęła zgłaszać ostrzeżenia, że do uruchomienia ochrony przed zawinięciem identyfikatorów transakcji brakuje zaledwie kilkudziesięciu milionów transakcji — co wymusiłoby przejście klastra w tryb tylko do odczytu. AceMQ zaangażowano w ramach awaryjnego SLA i rozwiązywało problem wspólnie z zespołem platformowym klienta.

Wyzwanie

Autovacuum na największych tabelach było wielokrotnie przerywane i uruchamiane od nowa, więc horyzont zamrożenia (freeze) nigdy się nie przesuwał. Długotrwałe sesje analityczne oraz pula połączeń pozostających w stanie idle in transaction blokowały horyzont xmin, przez co nawet udane przebiegi vacuum nie mogły odzyskać krotek. Ustawienia opóźnienia kosztowego odziedziczone po znacznie mniejszym wdrożeniu ograniczały autovacuum do ułamka dostępnej przepustowości I/O.

Środowisko

Serwer główny PostgreSQL z replikami strumieniowymi na sprzęcie on-premises, obsługujący administrację polisami i likwidację szkód.

Podejście

Najpilniejszym zadaniem było przesunięcie horyzontu zamrożenia na tabelach o najwyższym wieku, zanim klaster sam przełączy się w tryb ochronny. AceMQ przeprowadziło ukierunkowane ręczne operacje vacuum freeze na tych tabelach z dostrojonymi ustawieniami workerów, jednocześnie usuwając przeszkody, które nie pozwalały autovacuum dokończyć pracy — tak aby poprawka utrzymała się także po incydencie.

Rozwiązanie

  1. Uszeregowanie tabel według wieku zamrożonego identyfikatora transakcji i uruchomienie ukierunkowanego vacuum freeze najpierw na najbardziej zagrożonych
  2. Zakończenie sesji idle in transaction i długotrwałych snapshotów blokujących horyzont xmin
  3. Ponowne dostrojenie opóźnienia kosztowego, limitu kosztu i liczby workerów autovacuum do rzeczywistej przepustowości I/O sprzętu
  4. Ustawienie progów autovacuum dla poszczególnych dużych tabel zamiast polegania na procentowym skalowaniu na poziomie całego klastra
  5. Wprowadzenie limitu czasu instrukcji (statement timeout) i limitu czasu sesji idle in transaction, aby zapobiec nawrotom problemu po stronie warstwy aplikacji
  6. Monitorowanie wieku tabel, liczby martwych krotek i zdarzeń przerwania autovacuum

Efekt

Horyzont zamrożenia przesunął się daleko od progu wraparound, a klaster ani razu nie przeszedł w tryb tylko do odczytu. Autovacuum kończy teraz pracę na dużych tabelach podczas normalnej eksploatacji, a rozrost (bloat) narastający od miesięcy zaczął być odzyskiwany samoczynnie.

Technologie

PostgreSQLLinuxPrometheuspgBackRest

Problem produkcyjny z PostgreSQL?

Starsi inżynierowie PostgreSQL w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.