Présentation
Une plateforme bancaire utilisait le décodage logique pour alimenter un pipeline de change data capture. Lorsque le consommateur en aval s'est bloqué, le slot de réplication a cessé d'avancer et le primaire a conservé tous les segments WAL depuis le blocage. Le disque s'est rempli deux fois avant qu'AceMQ ne reprenne le support avec des ingénieurs seniors attitrés et une escalade directe, sans niveau 1 de tri.
Défi
Un slot de réplication qui retient les WAL fait partie des rares situations capables de faire tomber un primaire PostgreSQL par un mécanisme sans rapport avec la charge de requêtes. La supervision du client surveillait l'utilisation du disque mais pas le retard des slots, si bien que le premier signal a été une alerte disque alors qu'il ne restait que quelques minutes de marge. Distinguer un consommateur temporairement lent d'un slot réellement abandonné demandait un jugement que l'équipe d'astreinte n'avait pas.
Environnement
PostgreSQL sur AWS avec une réplication logique alimentant un pipeline de change data capture Debezium et Kafka.
Approche
AceMQ a fait du retard des slots un signal de premier rang, surveillé avant l'utilisation du disque, puis a établi une politique de cycle de vie des slots : ce qui déclenche une investigation, ce qui déclenche un redémarrage du consommateur et ce qui justifie la suppression d'un slot. Des garde-fous ont été configurés pour qu'un consommateur bloqué dégrade le pipeline plutôt que le primaire.
Solution
- Ajout du retard des slots de réplication et du volume de WAL retenu à la supervision, avec des seuils bien en amont de la saturation du disque
- Configuration de max_slot_wal_keep_size pour qu'un consommateur bloqué invalide son slot plutôt que de remplir le volume WAL
- Séparation des WAL sur un volume dédié, avec une capacité et des alertes indépendantes
- Documentation d'une politique de cycle de vie des slots couvrant l'investigation, le redémarrage du consommateur et la suppression sûre d'un slot
- Revue des paramètres de checkpoint et de dimensionnement des WAL qui provoquaient une amplification d'écriture inutile
- Mise en place d'une escalade 24/7 directement vers des ingénieurs PostgreSQL seniors pour les incidents de slots et de réplication
Résultat obtenu
Les incidents liés au volume WAL ont totalement cessé. Les blocages de consommateurs se manifestent désormais par des alertes de retard du pipeline plusieurs heures avant de pouvoir affecter le primaire, et l'équipe du client traite les cas courants sans escalade.