返回所有使用案例

技術支援醫療保健/福利

24/7 複本集技術支援,由專屬資深工程師處理,沒有 Tier-1 分流層

醫療分析服務供應商

為複本集提供持續技術支援:過短的 oplog 時間窗,導致次要節點在每晚批次載入期間反覆執行完整的初始同步。

概覽

一家分析服務供應商每晚執行 ETL 載入,產生的 oplog 量遠超過平常的流量。任何在載入期間落後的次要節點,都會超出 oplog 範圍而被迫進行完整的初始同步,而這又會與隔天晚上的載入爭搶資源。AceMQ 接手複本集的技術支援,提供專屬資深工程師與直接升級管道。

挑戰

oplog 大小是在建立叢集時依預設的磁碟百分比決定的,之後從未重新檢視。改寫整份文件的大量更新,使 oplog 量遠遠超出實際變更欄位的大小;只要有一個次要節點落後,就可能引發連鎖的重新同步,讓整個複本集在大半個工作天裡都沒有健康的讀取複本可用。

環境

AWS 上的託管 MongoDB 複本集,每晚從上游的臨床資料倉儲進行批次擷取。

做法

AceMQ 不依賴平均值,而是在完整的批次時段內實測 oplog 的實際變動量,再依觀察到的最壞情況加上餘裕來配置 oplog 大小。同時,工程師重新設計批次寫入方式以降低 oplog 放大效應,並建立一份操作手冊,讓值班人員不必進行完整重新同步,就能讓落後的次要節點恢復。

解決方案

  1. 實測完整批次時段內的 oplog 峰值產生速率,依最壞情況而非平均值配置 oplog 大小
  2. 線上調整 oplog 大小,並在負載下驗證調整後的複寫時間窗
  3. 將 ETL 中改寫整份文件的操作改為針對特定欄位的更新,降低 oplog 放大效應
  4. 錯開批次載入的並行度,讓次要節點跟得上主要節點的寫入吞吐量
  5. 撰寫復原操作手冊,涵蓋次要節點落後、rollback 檔案,以及何時才真正需要重新同步
  6. 設定複寫延遲與 oplog 時間窗告警,並串接 24/7 升級處理流程

成效

每晚反覆發生的重新同步已完全消除,複本集現在的複寫時間窗以天計算,而不再是以小時計算。客戶的值班團隊依照操作手冊,就能自行處理大多數的延遲事件,無需升級處理。

技術

MongoDBKubernetesTerraformPrometheus

需要專業的 MongoDB 技術支援嗎?

AceMQ 的資深 MongoDB 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。