Retour à tous les cas d'usage

SupportServices financiers / paiements

Des ingénieurs seniors attitrés d'astreinte pour les événements de WAL, de réplication et de failover

Plateforme de banque en ligne

Un support continu pour un cluster sur lequel un slot de réplication logique abandonné remplissait de façon répétée le volume WAL et menaçait d'arrêter le primaire.

Présentation

Une plateforme bancaire utilisait le décodage logique pour alimenter un pipeline de change data capture. Lorsque le consommateur en aval s'est bloqué, le slot de réplication a cessé d'avancer et le primaire a conservé tous les segments WAL depuis le blocage. Le disque s'est rempli deux fois avant qu'AceMQ ne reprenne le support avec des ingénieurs seniors attitrés et une escalade directe, sans niveau 1 de tri.

Défi

Un slot de réplication qui retient les WAL fait partie des rares situations capables de faire tomber un primaire PostgreSQL par un mécanisme sans rapport avec la charge de requêtes. La supervision du client surveillait l'utilisation du disque mais pas le retard des slots, si bien que le premier signal a été une alerte disque alors qu'il ne restait que quelques minutes de marge. Distinguer un consommateur temporairement lent d'un slot réellement abandonné demandait un jugement que l'équipe d'astreinte n'avait pas.

Environnement

PostgreSQL sur AWS avec une réplication logique alimentant un pipeline de change data capture Debezium et Kafka.

Approche

AceMQ a fait du retard des slots un signal de premier rang, surveillé avant l'utilisation du disque, puis a établi une politique de cycle de vie des slots : ce qui déclenche une investigation, ce qui déclenche un redémarrage du consommateur et ce qui justifie la suppression d'un slot. Des garde-fous ont été configurés pour qu'un consommateur bloqué dégrade le pipeline plutôt que le primaire.

Solution

  1. Ajout du retard des slots de réplication et du volume de WAL retenu à la supervision, avec des seuils bien en amont de la saturation du disque
  2. Configuration de max_slot_wal_keep_size pour qu'un consommateur bloqué invalide son slot plutôt que de remplir le volume WAL
  3. Séparation des WAL sur un volume dédié, avec une capacité et des alertes indépendantes
  4. Documentation d'une politique de cycle de vie des slots couvrant l'investigation, le redémarrage du consommateur et la suppression sûre d'un slot
  5. Revue des paramètres de checkpoint et de dimensionnement des WAL qui provoquaient une amplification d'écriture inutile
  6. Mise en place d'une escalade 24/7 directement vers des ingénieurs PostgreSQL seniors pour les incidents de slots et de réplication

Résultat obtenu

Les incidents liés au volume WAL ont totalement cessé. Les blocages de consommateurs se manifestent désormais par des alertes de retard du pipeline plusieurs heures avant de pouvoir affecter le primaire, et l'équipe du client traite les cas courants sans escalade.

Technologies

PostgreSQLDebeziumKafkaPrometheus

Besoin d'un support PostgreSQL expert ?

Les ingénieurs PostgreSQL seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.