Panoramica
Una piattaforma assicurativa aveva ricevuto avvisi secondo cui il database si trovava a poche decine di milioni di transazioni dall'attivazione della protezione contro il wraparound, che avrebbe costretto il cluster in modalità di sola lettura. AceMQ è intervenuta nell'ambito dello SLA di emergenza e ha lavorato sul problema insieme al team di piattaforma del cliente.
Sfida
L'autovacuum sulle tabelle più grandi veniva annullato ripetutamente e ripartiva da zero, per cui il freeze horizon non avanzava mai. Sessioni di analytics di lunga durata e un connection pool in stato idle-in-transaction bloccavano l'orizzonte xmin, così che nemmeno le esecuzioni di vacuum andate a buon fine riuscivano a recuperare le tuple. Le impostazioni di cost-based delay ereditate da un deployment molto più piccolo limitavano l'autovacuum a una frazione dell'I/O disponibile.
Ambiente
Primario PostgreSQL con repliche in streaming su hardware on-premises, a supporto dei workload di gestione delle polizze e dei sinistri.
Approccio
La priorità immediata era far avanzare il freeze horizon sulle tabelle con l'età più elevata prima che il cluster entrasse in autoprotezione. AceMQ ha eseguito operazioni mirate di vacuum freeze manuale su quelle tabelle con impostazioni dei worker tarate, rimuovendo al tempo stesso gli ostacoli che impedivano all'autovacuum di completarsi, così che la correzione reggesse anche dopo l'incidente.
Soluzione
- Tabelle classificate per età del transaction ID congelato, con vacuum freeze mirato eseguito prima sui casi peggiori
- Terminate le sessioni idle-in-transaction e gli snapshot di lunga durata che bloccavano l'orizzonte xmin
- Cost delay, cost limit e numero di worker dell'autovacuum ritarati sulla reale capacità di I/O dell'hardware
- Soglie di autovacuum per singola tabella impostate sulle tabelle grandi, invece di affidarsi allo scaling percentuale a livello di cluster
- Aggiunti statement timeout e idle-in-transaction session timeout per evitare recidive dal livello applicativo
- Monitoraggio strumentato su età delle tabelle, numero di dead tuple ed eventi di annullamento dell'autovacuum
Esito
Il freeze horizon è avanzato ben oltre la soglia di wraparound e il cluster non è mai entrato in modalità di sola lettura. L'autovacuum ora si completa sulle tabelle grandi durante il normale funzionamento, e il bloat accumulato in mesi ha cominciato a essere recuperato in modo autonomo.