概覽
一個支付平台開始出現長達數秒的寫入停頓,而這些寫入過去都能在個位數毫秒內完成。伺服器指標顯示,WiredTiger 快取一直卡在淘汰觸發門檻,應用程式執行緒也被拉去協助淘汰 page。AceMQ 工程師在依方案而定、最快 15 分鐘起的回應目標下介入,與客戶的 DBA 團隊一同處理這起事故。
挑戰
工作集已成長到超出 WiredTiger 快取的配置,導致讀取未命中時,必須在熱路徑上淘汰 dirty page。一旦應用程式執行緒開始參與淘汰,延遲就會呈非線性飆升,上游的連線池也隨之飽和。由於症狀是以用戶端逾時、而非慢查詢的形式出現,團隊一直把它當成網路問題處理。
環境
部署在裸機上的 MongoDB replica set,支撐一個高流量的交易授權服務。
做法
AceMQ 將 serverStatus 的淘汰計數器、快取 dirty 比例與 checkpoint 持續時間,與應用程式延遲直方圖相互比對,確認根本原因是淘汰,而非磁碟或網路。接下來的工作分成兩部分:立即紓解壓力,以及針對索引與文件占用空間的長期修正,讓工作集重新容納於快取之內。
解決方案
- 將 WiredTiger 淘汰計數器、快取 dirty 比例與 checkpoint 持續時間,與用戶端延遲相互比對,找出真正的瓶頸
- 依實際的主機記憶體與容器上限重新調校 cacheSizeGB,而不是沿用預設的「RAM 的一半」經驗法則
- 找出並刪除冗餘的複合索引,這些索引占用快取,卻不服務任何查詢模式
- 重構兩個負載最重的 collection,縮小文件大小,並消除無限制成長的陣列
- 將淘汰壓力、快取 dirty 比例與 checkpoint 持續時間納入告警基準,讓這種狀況在波及應用程式執行緒之前就被發現
成效
淘汰工作回到背景執行緒處理,寫入延遲也恢復到正常範圍,用戶端逾時完全消失。客戶現在擁有快取壓力的早期預警訊號,以及一套針對未來資料成長的文件化容量規劃模型。