Visão geral
Uma plataforma de seguros começou a receber avisos de que o banco de dados estava a poucas dezenas de milhões de transações de acionar a proteção contra wraparound, o que forçaria o cluster a entrar em modo somente leitura. A AceMQ foi acionada pelo SLA emergencial e trabalhou no problema junto com a equipe de plataforma do cliente.
Desafio
O autovacuum nas maiores tabelas era cancelado repetidamente e recomeçava do zero, então o horizonte de freeze nunca avançava. Sessões de analytics de longa duração e um pool de conexões em estado idle-in-transaction prendiam o horizonte de xmin, de modo que nem as execuções de vacuum bem-sucedidas conseguiam recuperar tuplas. Configurações de cost-based delay herdadas de uma implantação muito menor limitavam o autovacuum a uma fração do I/O disponível.
Ambiente
PostgreSQL primário com réplicas por streaming em hardware on-premises, sustentando cargas de administração de apólices e de sinistros.
Abordagem
A prioridade imediata era avançar o horizonte de freeze nas tabelas mais antigas antes que o cluster acionasse sua autoproteção. A AceMQ executou operações de vacuum freeze manuais e direcionadas nessas tabelas, com configurações de workers ajustadas, e ao mesmo tempo removeu os bloqueios que impediam o autovacuum de terminar, para que a correção se sustentasse depois do incidente.
Solução
- Classificação das tabelas pela idade do transaction ID congelado e execução de vacuum freeze direcionado começando pelos piores casos
- Encerramento das sessões idle-in-transaction e dos snapshots de longa duração que prendiam o horizonte de xmin
- Reajuste do cost delay, do cost limit e do número de workers do autovacuum de acordo com a capacidade real de I/O do hardware
- Definição de limites de autovacuum por tabela nas tabelas grandes, em vez de depender do escalonamento percentual global do cluster
- Inclusão de statement timeout e de idle-in-transaction session timeout para evitar a recorrência a partir da camada de aplicação
- Instrumentação de monitoramento da idade das tabelas, da contagem de dead tuples e dos eventos de cancelamento do autovacuum
Resultado obtido
O horizonte de freeze avançou para bem longe do limite de wraparound, e o cluster nunca entrou em modo somente leitura. O autovacuum agora termina nas tabelas grandes durante a operação normal, e o bloat acumulado ao longo de meses começou a ser recuperado sozinho.