概覽
一個銀行平台使用邏輯解碼,為異動資料擷取(CDC)管線提供資料。當下游消費者停滯時,replication slot 就不再前進,主節點也因此保留了停滯以來的每一個 WAL segment。在 AceMQ 以專屬資深工程師與直接升級管道接手技術支援之前(沒有 Tier-1 分流),磁碟已經被塞滿過兩次。
挑戰
被保留的 replication slot,是少數幾種會透過與查詢負載無關的機制讓 PostgreSQL 主節點停擺的狀況之一。客戶的監控只盯著磁碟使用量,沒有監控 slot 延遲,因此第一個訊號,就是只剩幾分鐘餘裕的磁碟告警。要分辨是暫時變慢的消費者,還是真正被遺棄的 slot,需要值班輪值人員所欠缺的判斷力。
環境
AWS 上的 PostgreSQL,透過邏輯複寫為 Debezium 與 Kafka 異動資料擷取管線提供資料。
做法
AceMQ 將 slot 延遲列為優先於磁碟使用量的一級監控訊號,接著制定 slot 生命週期政策:什麼情況要展開調查、什麼情況要重新啟動消費者,以及什麼情況才有理由刪除 slot。我們也設定了防護機制,讓停滯的消費者只會拖慢管線,而不會拖垮主節點。
解決方案
- 將 replication slot 延遲與 WAL 保留大小納入監控,門檻設定在遠早於磁碟耗盡之前
- 設定 max_slot_wal_keep_size,讓停滯的消費者使其 slot 失效,而不是塞滿 WAL 磁碟區
- 將 WAL 獨立放在專屬的磁碟區,並擁有獨立的容量與告警
- 撰寫 slot 生命週期政策文件,涵蓋調查、消費者重新啟動與安全移除 slot
- 審查造成不必要寫入放大的 checkpoint 與 WAL 大小設定
- 針對 slot 與複寫事故,建立直接升級至資深 PostgreSQL 工程師的 24/7 管道
成效
WAL 磁碟區事故已完全停止。消費者停滯現在會以管線延遲告警的形式浮現,比可能影響主節點的時間點早了好幾個小時,而客戶的團隊也能自行處理例行狀況,無須升級。