Présentation
Une plateforme d'assurance a reçu des avertissements indiquant que la base de données n'était plus qu'à quelques dizaines de millions de transactions du déclenchement de la protection contre le wraparound, qui aurait fait basculer le cluster en lecture seule. AceMQ est intervenu dans le cadre du SLA d'urgence et a traité le problème aux côtés de l'équipe plateforme du client.
Défi
Sur les plus grandes tables, l'autovacuum était annulé à répétition puis relancé depuis le début, si bien que l'horizon de freeze n'avançait jamais. Des sessions analytiques de longue durée et un pool de connexions en idle-in-transaction bloquaient l'horizon xmin : même les exécutions de vacuum réussies ne pouvaient pas récupérer les tuples. Les paramètres de délai basé sur le coût, hérités d'un déploiement bien plus petit, bridaient l'autovacuum à une fraction des E/S disponibles.
Environnement
Instance primaire PostgreSQL avec réplicas en streaming sur matériel on-premise, au service de la gestion des contrats et des sinistres.
Approche
La priorité immédiate était de faire avancer l'horizon de freeze sur les tables les plus âgées avant que le cluster ne se protège lui-même. AceMQ a lancé des opérations manuelles et ciblées de vacuum freeze sur ces tables avec des paramètres de workers ajustés, tout en supprimant en parallèle les blocages qui empêchaient l'autovacuum d'aboutir, pour que la correction tienne après l'incident.
Solution
- Classement des tables selon l'âge de leur identifiant de transaction gelé, et vacuum freeze ciblé sur les pires en premier
- Arrêt des sessions idle-in-transaction et des snapshots de longue durée qui bloquaient l'horizon xmin
- Réglage du cost delay, du cost limit et du nombre de workers de l'autovacuum en fonction de la capacité d'E/S réelle du matériel
- Définition de seuils d'autovacuum par table sur les grandes tables, au lieu de s'appuyer sur un pourcentage global au cluster
- Ajout d'un statement timeout et d'un idle-in-transaction session timeout pour empêcher toute récidive depuis la couche applicative
- Mise en place d'une supervision de l'âge des tables, du nombre de dead tuples et des annulations d'autovacuum
Résultat obtenu
L'horizon de freeze s'est éloigné largement du seuil de wraparound, et le cluster n'est jamais passé en lecture seule. L'autovacuum aboutit désormais sur les grandes tables en fonctionnement normal, et le bloat accumulé pendant des mois a commencé à se résorber de lui-même.