Torna a tutti i casi d'uso

RemediationTrasversale

Eliminare il rischio di wraparound senza mettere offline il database

Fornitore di servizi assicurativi

Intervento d'emergenza su un database prossimo al transaction ID wraparound perché l'autovacuum non riusciva a tenere il passo con le tabelle più grandi.

Panoramica

Una piattaforma assicurativa aveva ricevuto avvisi secondo cui il database si trovava a poche decine di milioni di transazioni dall'attivazione della protezione contro il wraparound, che avrebbe costretto il cluster in modalità di sola lettura. AceMQ è intervenuta nell'ambito dello SLA di emergenza e ha lavorato sul problema insieme al team di piattaforma del cliente.

Sfida

L'autovacuum sulle tabelle più grandi veniva annullato ripetutamente e ripartiva da zero, per cui il freeze horizon non avanzava mai. Sessioni di analytics di lunga durata e un connection pool in stato idle-in-transaction bloccavano l'orizzonte xmin, così che nemmeno le esecuzioni di vacuum andate a buon fine riuscivano a recuperare le tuple. Le impostazioni di cost-based delay ereditate da un deployment molto più piccolo limitavano l'autovacuum a una frazione dell'I/O disponibile.

Ambiente

Primario PostgreSQL con repliche in streaming su hardware on-premises, a supporto dei workload di gestione delle polizze e dei sinistri.

Approccio

La priorità immediata era far avanzare il freeze horizon sulle tabelle con l'età più elevata prima che il cluster entrasse in autoprotezione. AceMQ ha eseguito operazioni mirate di vacuum freeze manuale su quelle tabelle con impostazioni dei worker tarate, rimuovendo al tempo stesso gli ostacoli che impedivano all'autovacuum di completarsi, così che la correzione reggesse anche dopo l'incidente.

Soluzione

  1. Tabelle classificate per età del transaction ID congelato, con vacuum freeze mirato eseguito prima sui casi peggiori
  2. Terminate le sessioni idle-in-transaction e gli snapshot di lunga durata che bloccavano l'orizzonte xmin
  3. Cost delay, cost limit e numero di worker dell'autovacuum ritarati sulla reale capacità di I/O dell'hardware
  4. Soglie di autovacuum per singola tabella impostate sulle tabelle grandi, invece di affidarsi allo scaling percentuale a livello di cluster
  5. Aggiunti statement timeout e idle-in-transaction session timeout per evitare recidive dal livello applicativo
  6. Monitoraggio strumentato su età delle tabelle, numero di dead tuple ed eventi di annullamento dell'autovacuum

Esito

Il freeze horizon è avanzato ben oltre la soglia di wraparound e il cluster non è mai entrato in modalità di sola lettura. L'autovacuum ora si completa sulle tabelle grandi durante il normale funzionamento, e il bloat accumulato in mesi ha cominciato a essere recuperato in modo autonomo.

Tecnologie

PostgreSQLLinuxPrometheuspgBackRest

Avete un problema di produzione su PostgreSQL?

Gli ingegneri PostgreSQL senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.