返回所有使用案例

問題修復金融服務/支付

在 WiredTiger 淘汰風暴拖垮應用程式層之前加以遏止

全球支付處理商

診斷並解決應用程式停頓問題:工作集成長到超出 WiredTiger 快取,使伺服器陷入持續的淘汰壓力。

概覽

一個支付平台開始出現長達數秒的寫入停頓,而這些寫入過去都能在個位數毫秒內完成。伺服器指標顯示,WiredTiger 快取一直卡在淘汰觸發門檻,應用程式執行緒也被拉去協助淘汰 page。AceMQ 工程師在依方案而定、最快 15 分鐘起的回應目標下介入,與客戶的 DBA 團隊一同處理這起事故。

挑戰

工作集已成長到超出 WiredTiger 快取的配置,導致讀取未命中時,必須在熱路徑上淘汰 dirty page。一旦應用程式執行緒開始參與淘汰,延遲就會呈非線性飆升,上游的連線池也隨之飽和。由於症狀是以用戶端逾時、而非慢查詢的形式出現,團隊一直把它當成網路問題處理。

環境

部署在裸機上的 MongoDB replica set,支撐一個高流量的交易授權服務。

做法

AceMQ 將 serverStatus 的淘汰計數器、快取 dirty 比例與 checkpoint 持續時間,與應用程式延遲直方圖相互比對,確認根本原因是淘汰,而非磁碟或網路。接下來的工作分成兩部分:立即紓解壓力,以及針對索引與文件占用空間的長期修正,讓工作集重新容納於快取之內。

解決方案

  1. 將 WiredTiger 淘汰計數器、快取 dirty 比例與 checkpoint 持續時間,與用戶端延遲相互比對,找出真正的瓶頸
  2. 依實際的主機記憶體與容器上限重新調校 cacheSizeGB,而不是沿用預設的「RAM 的一半」經驗法則
  3. 找出並刪除冗餘的複合索引,這些索引占用快取,卻不服務任何查詢模式
  4. 重構兩個負載最重的 collection,縮小文件大小,並消除無限制成長的陣列
  5. 將淘汰壓力、快取 dirty 比例與 checkpoint 持續時間納入告警基準,讓這種狀況在波及應用程式執行緒之前就被發現

成效

淘汰工作回到背景執行緒處理,寫入延遲也恢復到正常範圍,用戶端逾時完全消失。客戶現在擁有快取壓力的早期預警訊號,以及一套針對未來資料成長的文件化容量規劃模型。

技術

MongoDBKubernetesPrometheusLinux

正面臨 MongoDB 正式環境問題嗎?

AceMQ 的資深 MongoDB 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。