Visão geral
Uma plataforma bancária usava logical decoding para alimentar um pipeline de change data capture. Quando o consumidor downstream travava, o replication slot parava de avançar e o primário retinha todos os segmentos de WAL desde o travamento. O disco encheu duas vezes antes de a AceMQ assumir o suporte, com engenheiros sêniores designados e escalonamento direto, sem triagem nível 1.
Desafio
Um replication slot retido é uma das poucas condições capazes de derrubar um primário PostgreSQL por um mecanismo que não tem relação com a carga de queries. O monitoramento do cliente acompanhava o uso de disco, mas não o lag dos slots, então o primeiro sinal era um alerta de disco com poucos minutos de folga. Distinguir um consumidor temporariamente lento de um slot realmente abandonado exigia um discernimento que a escala de plantão não tinha.
Ambiente
PostgreSQL na AWS com replicação lógica alimentando um pipeline de change data capture com Debezium e Kafka.
Abordagem
A AceMQ instrumentou o lag dos slots como sinal de primeira linha, à frente do uso de disco, e depois estabeleceu uma política para o ciclo de vida dos slots: o que dispara uma investigação, o que dispara um restart do consumidor e o que justifica remover um slot. Foram configuradas salvaguardas para que um consumidor travado degrade o pipeline, e não o primário.
Solução
- Lag dos replication slots e tamanho da retenção de WAL incluídos no monitoramento, com limites bem antes do esgotamento do disco
- max_slot_wal_keep_size configurado para que um consumidor travado invalide o próprio slot em vez de encher o volume de WAL
- WAL separado em um volume próprio, com capacidade e alertas independentes
- Política de ciclo de vida dos slots documentada, cobrindo investigação, restart do consumidor e remoção segura de slots
- Revisão das configurações de checkpoint e de dimensionamento do WAL que causavam write amplification desnecessária
- Escalonamento 24/7 direto para engenheiros sêniores de PostgreSQL em incidentes de slots e de replicação
Resultado obtido
Os incidentes com o volume de WAL acabaram por completo. Os travamentos de consumidores agora aparecem como alertas de lag no pipeline horas antes de poderem afetar o primário, e a equipe do cliente resolve os casos rotineiros sem precisar escalonar.