Retour à tous les cas d'usage

RemédiationMultisectoriel

Éliminer le risque de wraparound sans mettre la base hors ligne

Prestataire de services d'assurance

Intervention d'urgence sur une base de données qui approchait du wraparound des identifiants de transaction, parce que l'autovacuum n'arrivait pas à suivre le rythme sur les plus grandes tables.

Présentation

Une plateforme d'assurance a reçu des avertissements indiquant que la base de données n'était plus qu'à quelques dizaines de millions de transactions du déclenchement de la protection contre le wraparound, qui aurait fait basculer le cluster en lecture seule. AceMQ est intervenu dans le cadre du SLA d'urgence et a traité le problème aux côtés de l'équipe plateforme du client.

Défi

Sur les plus grandes tables, l'autovacuum était annulé à répétition puis relancé depuis le début, si bien que l'horizon de freeze n'avançait jamais. Des sessions analytiques de longue durée et un pool de connexions en idle-in-transaction bloquaient l'horizon xmin : même les exécutions de vacuum réussies ne pouvaient pas récupérer les tuples. Les paramètres de délai basé sur le coût, hérités d'un déploiement bien plus petit, bridaient l'autovacuum à une fraction des E/S disponibles.

Environnement

Instance primaire PostgreSQL avec réplicas en streaming sur matériel on-premise, au service de la gestion des contrats et des sinistres.

Approche

La priorité immédiate était de faire avancer l'horizon de freeze sur les tables les plus âgées avant que le cluster ne se protège lui-même. AceMQ a lancé des opérations manuelles et ciblées de vacuum freeze sur ces tables avec des paramètres de workers ajustés, tout en supprimant en parallèle les blocages qui empêchaient l'autovacuum d'aboutir, pour que la correction tienne après l'incident.

Solution

  1. Classement des tables selon l'âge de leur identifiant de transaction gelé, et vacuum freeze ciblé sur les pires en premier
  2. Arrêt des sessions idle-in-transaction et des snapshots de longue durée qui bloquaient l'horizon xmin
  3. Réglage du cost delay, du cost limit et du nombre de workers de l'autovacuum en fonction de la capacité d'E/S réelle du matériel
  4. Définition de seuils d'autovacuum par table sur les grandes tables, au lieu de s'appuyer sur un pourcentage global au cluster
  5. Ajout d'un statement timeout et d'un idle-in-transaction session timeout pour empêcher toute récidive depuis la couche applicative
  6. Mise en place d'une supervision de l'âge des tables, du nombre de dead tuples et des annulations d'autovacuum

Résultat obtenu

L'horizon de freeze s'est éloigné largement du seuil de wraparound, et le cluster n'est jamais passé en lecture seule. L'autovacuum aboutit désormais sur les grandes tables en fonctionnement normal, et le bloat accumulé pendant des mois a commencé à se résorber de lui-même.

Technologies

PostgreSQLLinuxPrometheuspgBackRest

Confronté à un incident de production PostgreSQL ?

Les ingénieurs PostgreSQL seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.