Voltar para todos os casos de uso

CorreçãoMultissetorial

Eliminar o risco de wraparound sem tirar o banco de dados do ar

Prestadora de serviços para seguradoras

Intervenção emergencial em um banco de dados que se aproximava do wraparound de transaction ID porque o autovacuum não conseguia acompanhar o ritmo das maiores tabelas.

Visão geral

Uma plataforma de seguros começou a receber avisos de que o banco de dados estava a poucas dezenas de milhões de transações de acionar a proteção contra wraparound, o que forçaria o cluster a entrar em modo somente leitura. A AceMQ foi acionada pelo SLA emergencial e trabalhou no problema junto com a equipe de plataforma do cliente.

Desafio

O autovacuum nas maiores tabelas era cancelado repetidamente e recomeçava do zero, então o horizonte de freeze nunca avançava. Sessões de analytics de longa duração e um pool de conexões em estado idle-in-transaction prendiam o horizonte de xmin, de modo que nem as execuções de vacuum bem-sucedidas conseguiam recuperar tuplas. Configurações de cost-based delay herdadas de uma implantação muito menor limitavam o autovacuum a uma fração do I/O disponível.

Ambiente

PostgreSQL primário com réplicas por streaming em hardware on-premises, sustentando cargas de administração de apólices e de sinistros.

Abordagem

A prioridade imediata era avançar o horizonte de freeze nas tabelas mais antigas antes que o cluster acionasse sua autoproteção. A AceMQ executou operações de vacuum freeze manuais e direcionadas nessas tabelas, com configurações de workers ajustadas, e ao mesmo tempo removeu os bloqueios que impediam o autovacuum de terminar, para que a correção se sustentasse depois do incidente.

Solução

  1. Classificação das tabelas pela idade do transaction ID congelado e execução de vacuum freeze direcionado começando pelos piores casos
  2. Encerramento das sessões idle-in-transaction e dos snapshots de longa duração que prendiam o horizonte de xmin
  3. Reajuste do cost delay, do cost limit e do número de workers do autovacuum de acordo com a capacidade real de I/O do hardware
  4. Definição de limites de autovacuum por tabela nas tabelas grandes, em vez de depender do escalonamento percentual global do cluster
  5. Inclusão de statement timeout e de idle-in-transaction session timeout para evitar a recorrência a partir da camada de aplicação
  6. Instrumentação de monitoramento da idade das tabelas, da contagem de dead tuples e dos eventos de cancelamento do autovacuum

Resultado obtido

O horizonte de freeze avançou para bem longe do limite de wraparound, e o cluster nunca entrou em modo somente leitura. O autovacuum agora termina nas tabelas grandes durante a operação normal, e o bloat acumulado ao longo de meses começou a ser recuperado sozinho.

Tecnologias

PostgreSQLLinuxPrometheuspgBackRest

Enfrentando um problema de produção com PostgreSQL?

Os engenheiros PostgreSQL sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.