Panoramica
Una piattaforma bancaria usava la logical decoding per alimentare una pipeline di change data capture. Quando il consumer a valle si bloccava, il replication slot smetteva di avanzare e il primary conservava ogni segmento WAL generato dal momento del blocco. Il disco si è riempito due volte prima che AceMQ prendesse in carico il supporto con ingegneri senior dedicati ed escalation diretta, senza triage tier 1.
Sfida
Un replication slot che trattiene i WAL è una delle poche condizioni in grado di mettere fuori servizio un primary PostgreSQL attraverso un meccanismo che non ha nulla a che vedere con il carico delle query. Il monitoraggio del cliente osservava l'uso del disco ma non il lag degli slot, quindi il primo segnale era un alert sul disco con pochi minuti di margine. Distinguere un consumer temporaneamente lento da uno slot davvero abbandonato richiedeva un giudizio che il team di reperibilità non aveva.
Ambiente
PostgreSQL su AWS con replica logica che alimenta una pipeline di change data capture basata su Debezium e Kafka.
Approccio
AceMQ ha strumentato il lag degli slot come segnale di primo piano, in anticipo rispetto all'uso del disco, e ha poi definito una policy sul ciclo di vita degli slot: cosa fa scattare un'indagine, cosa fa scattare il riavvio di un consumer e cosa giustifica l'eliminazione di uno slot. Sono state configurate protezioni affinché un consumer bloccato degradi la pipeline invece del primary.
Soluzione
- Aggiunta al monitoraggio del lag dei replication slot e della dimensione dei WAL trattenuti, con soglie ben in anticipo rispetto all'esaurimento del disco
- Configurazione di max_slot_wal_keep_size, così che un consumer bloccato invalidi il proprio slot invece di riempire il volume WAL
- Spostamento dei WAL su un volume dedicato con capacità e alerting indipendenti
- Documentazione di una policy sul ciclo di vita degli slot che copre indagine, riavvio del consumer e rimozione sicura dello slot
- Revisione delle impostazioni di checkpoint e di dimensionamento dei WAL che causavano un'amplificazione delle scritture non necessaria
- Escalation 24/7 diretta agli ingegneri PostgreSQL senior per gli incidenti di slot e replica
Esito
Gli incidenti sul volume WAL sono cessati del tutto. I blocchi dei consumer emergono ora come alert di lag della pipeline ore prima che possano incidere sul primary, e il team del cliente gestisce i casi di routine senza escalation.