Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Das Wraparound-Risiko beseitigen, ohne die Datenbank vom Netz zu nehmen

Dienstleister für Versicherungen

Notfalleinsatz bei einer Datenbank, die auf den Transaction ID Wraparound zusteuerte, weil Autovacuum mit den größten Tabellen nicht Schritt halten konnte.

Überblick

Eine Versicherungsplattform erhielt Warnungen, dass die Datenbank nur noch einige zehn Millionen Transaktionen vom Greifen des Wraparound-Schutzes entfernt war – der den Cluster in den Read-only-Modus gezwungen hätte. AceMQ wurde im Rahmen des Notfall-SLA hinzugezogen und arbeitete gemeinsam mit dem Plattformteam des Kunden an dem Problem.

Herausforderung

Autovacuum auf den größten Tabellen wurde immer wieder abgebrochen und von vorn gestartet, sodass der Freeze-Horizont nie vorankam. Lang laufende Analytics-Sessions und ein Connection Pool im Zustand idle in transaction hielten den xmin-Horizont fest – selbst erfolgreiche Vacuum-Läufe konnten deshalb keine Tupel freigeben. Die Einstellungen für den kostenbasierten Delay stammten aus einem viel kleineren Deployment und drosselten Autovacuum auf einen Bruchteil der verfügbaren I/O.

Umgebung

PostgreSQL-Primary mit Streaming Replicas auf On-Premises-Hardware für Policenverwaltung und Schadenbearbeitung.

Vorgehen

Oberste Priorität hatte, den Freeze-Horizont der ältesten Tabellen voranzubringen, bevor der Cluster sich selbst schützte. AceMQ führte gezielte manuelle VACUUM-FREEZE-Läufe auf diesen Tabellen mit angepassten Worker-Einstellungen durch und beseitigte zugleich die Blockaden, die Autovacuum am Abschluss hinderten, damit die Lösung auch nach dem Vorfall Bestand hat.

Lösung

  1. Tabellen nach dem Alter der eingefrorenen Transaction ID gereiht und gezieltes VACUUM FREEZE zuerst auf die schlimmsten Fälle angewandt
  2. Die Sessions im Zustand idle in transaction und die lang laufenden Snapshots beendet, die den xmin-Horizont festhielten
  3. Cost Delay, Cost Limit und Worker-Zahl von Autovacuum an die tatsächliche I/O-Kapazität der Hardware angepasst
  4. Autovacuum-Schwellenwerte je Tabelle für die großen Tabellen gesetzt, statt sich auf clusterweite prozentuale Skalierung zu verlassen
  5. Statement Timeout und Idle-in-Transaction-Session-Timeout ergänzt, um ein Wiederauftreten aus der Anwendungsschicht zu verhindern
  6. Monitoring für Tabellenalter, Zahl der Dead Tuples und abgebrochene Autovacuum-Läufe instrumentiert

Resultat

Der Freeze-Horizont rückte weit über die Wraparound-Schwelle hinaus vor, und der Cluster ging nie in den Read-only-Modus. Autovacuum läuft auf den großen Tabellen jetzt im normalen Betrieb durch, und Bloat, der sich über Monate angesammelt hatte, wird von selbst wieder abgebaut.

Technologien

PostgreSQLLinuxPrometheuspgBackRest

Haben Sie ein Produktionsproblem mit PostgreSQL?

Die Senior Engineers von AceMQ für PostgreSQL haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.