Voltar para todos os casos de uso

SuporteServiços financeiros / pagamentos

Engenheiros sêniores designados de plantão para eventos de WAL, replicação e failover

Plataforma de banco digital

Suporte contínuo para um cluster em que um replication slot lógico abandonado enchia repetidamente o volume de WAL e ameaçava derrubar o primário.

Visão geral

Uma plataforma bancária usava logical decoding para alimentar um pipeline de change data capture. Quando o consumidor downstream travava, o replication slot parava de avançar e o primário retinha todos os segmentos de WAL desde o travamento. O disco encheu duas vezes antes de a AceMQ assumir o suporte, com engenheiros sêniores designados e escalonamento direto, sem triagem nível 1.

Desafio

Um replication slot retido é uma das poucas condições capazes de derrubar um primário PostgreSQL por um mecanismo que não tem relação com a carga de queries. O monitoramento do cliente acompanhava o uso de disco, mas não o lag dos slots, então o primeiro sinal era um alerta de disco com poucos minutos de folga. Distinguir um consumidor temporariamente lento de um slot realmente abandonado exigia um discernimento que a escala de plantão não tinha.

Ambiente

PostgreSQL na AWS com replicação lógica alimentando um pipeline de change data capture com Debezium e Kafka.

Abordagem

A AceMQ instrumentou o lag dos slots como sinal de primeira linha, à frente do uso de disco, e depois estabeleceu uma política para o ciclo de vida dos slots: o que dispara uma investigação, o que dispara um restart do consumidor e o que justifica remover um slot. Foram configuradas salvaguardas para que um consumidor travado degrade o pipeline, e não o primário.

Solução

  1. Lag dos replication slots e tamanho da retenção de WAL incluídos no monitoramento, com limites bem antes do esgotamento do disco
  2. max_slot_wal_keep_size configurado para que um consumidor travado invalide o próprio slot em vez de encher o volume de WAL
  3. WAL separado em um volume próprio, com capacidade e alertas independentes
  4. Política de ciclo de vida dos slots documentada, cobrindo investigação, restart do consumidor e remoção segura de slots
  5. Revisão das configurações de checkpoint e de dimensionamento do WAL que causavam write amplification desnecessária
  6. Escalonamento 24/7 direto para engenheiros sêniores de PostgreSQL em incidentes de slots e de replicação

Resultado obtido

Os incidentes com o volume de WAL acabaram por completo. Os travamentos de consumidores agora aparecem como alertas de lag no pipeline horas antes de poderem afetar o primário, e a equipe do cliente resolve os casos rotineiros sem precisar escalonar.

Tecnologias

PostgreSQLDebeziumKafkaPrometheus

Precisa de suporte especializado em PostgreSQL?

Os engenheiros PostgreSQL sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.