概覽
一家保險平台收到警告:資料庫距離觸發迴繞保護機制只剩數千萬筆交易,一旦觸發,叢集就會被迫進入唯讀模式。AceMQ 依緊急 SLA 介入,並與客戶的平台團隊一同處理問題。
挑戰
最大資料表上的 autovacuum 不斷被取消、又從頭重新開始,使得凍結界線(freeze horizon)始終無法推進。長時間執行的分析工作階段,以及一個處於 idle-in-transaction 狀態的連線池,牢牢釘住了 xmin 界線,導致即使 vacuum 順利執行完畢,也無法回收 tuple。沿用自規模小得多之部署的成本延遲設定,更把 autovacuum 限制在可用 I/O 的一小部分。
環境
在地端硬體上運作的 PostgreSQL 主要節點與串流複本,支撐保單管理與理賠工作負載。
做法
當務之急是在叢集啟動自我保護之前,推進最高 age 資料表的凍結界線。AceMQ 以調校過的 worker 設定,對這些資料表執行針對性的手動 vacuum freeze,同時排除阻礙 autovacuum 完成的因素,確保修復在事故結束後依然有效。
解決方案
- 依凍結交易 ID 的 age 排序資料表,優先對最嚴重的資料表執行針對性的 vacuum freeze
- 終止釘住 xmin 界線的 idle-in-transaction 工作階段與長時間執行的快照
- 依硬體實際的 I/O 能力,重新調校 autovacuum 的成本延遲、成本上限與 worker 數量
- 為大型資料表設定個別的 autovacuum 門檻,而不依賴整個叢集一體適用的百分比比例
- 加入 statement timeout 與 idle-in-transaction 工作階段逾時,從應用程式層防止問題再次發生
- 建立資料表 age、dead tuple 數量與 autovacuum 取消事件的監控
成效
凍結界線已推進到遠離迴繞門檻的安全範圍,叢集從未進入唯讀模式。現在大型資料表上的 autovacuum 能在正常營運期間完成,數個月來累積的膨脹(bloat)也開始自行回收。