Überblick
Eine Versicherungsplattform erhielt Warnungen, dass die Datenbank nur noch einige zehn Millionen Transaktionen vom Greifen des Wraparound-Schutzes entfernt war – der den Cluster in den Read-only-Modus gezwungen hätte. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen und arbeitete gemeinsam mit dem Plattformteam des Kunden an dem Problem.
Herausforderung
Autovacuum auf den größten Tabellen wurde immer wieder abgebrochen und von vorn gestartet, sodass der Freeze-Horizont nie vorankam. Lang laufende Analytics-Sessions und ein Connection Pool im Zustand idle in transaction hielten den xmin-Horizont fest – selbst erfolgreiche Vacuum-Läufe konnten deshalb keine Tupel freigeben. Die Einstellungen für den kostenbasierten Delay stammten aus einem viel kleineren Deployment und drosselten Autovacuum auf einen Bruchteil der verfügbaren I/O.
Umgebung
PostgreSQL-Primary mit Streaming Replicas auf On-Premises-Hardware für Policenverwaltung und Schadenbearbeitung.
Vorgehen
Oberste Priorität hatte, den Freeze-Horizont der ältesten Tabellen voranzubringen, bevor der Cluster sich selbst schützte. AceMQ führte gezielte manuelle VACUUM-FREEZE-Läufe auf diesen Tabellen mit angepassten Worker-Einstellungen durch und beseitigte zugleich die Blockaden, die Autovacuum am Abschluss hinderten, damit die Lösung auch nach dem Vorfall Bestand hat.
Lösung
- Tabellen nach dem Alter der eingefrorenen Transaction ID gereiht und gezieltes VACUUM FREEZE zuerst auf die schlimmsten Fälle angewandt
- Die Sessions im Zustand idle in transaction und die lang laufenden Snapshots beendet, die den xmin-Horizont festhielten
- Cost Delay, Cost Limit und Worker-Zahl von Autovacuum an die tatsächliche I/O-Kapazität der Hardware angepasst
- Autovacuum-Schwellenwerte je Tabelle für die großen Tabellen gesetzt, statt sich auf clusterweite prozentuale Skalierung zu verlassen
- Statement Timeout und Idle-in-Transaction-Session-Timeout ergänzt, um ein Wiederauftreten aus der Anwendungsschicht zu verhindern
- Monitoring für Tabellenalter, Zahl der Dead Tuples und abgebrochene Autovacuum-Läufe instrumentiert
Resultat
Der Freeze-Horizont rückte weit über die Wraparound-Schwelle hinaus vor, und der Cluster ging nie in den Read-only-Modus. Autovacuum läuft auf den großen Tabellen jetzt im normalen Betrieb durch, und Bloat, der sich über Monate angesammelt hatte, wird von selbst wieder abgebaut.