概覽
一家分析服務供應商每晚執行 ETL 載入,產生的 oplog 量遠超過平常的流量。任何在載入期間落後的次要節點,都會超出 oplog 範圍而被迫進行完整的初始同步,而這又會與隔天晚上的載入爭搶資源。AceMQ 接手複本集的技術支援,提供專屬資深工程師與直接升級管道。
挑戰
oplog 大小是在建立叢集時依預設的磁碟百分比決定的,之後從未重新檢視。改寫整份文件的大量更新,使 oplog 量遠遠超出實際變更欄位的大小;只要有一個次要節點落後,就可能引發連鎖的重新同步,讓整個複本集在大半個工作天裡都沒有健康的讀取複本可用。
環境
AWS 上的託管 MongoDB 複本集,每晚從上游的臨床資料倉儲進行批次擷取。
做法
AceMQ 不依賴平均值,而是在完整的批次時段內實測 oplog 的實際變動量,再依觀察到的最壞情況加上餘裕來配置 oplog 大小。同時,工程師重新設計批次寫入方式以降低 oplog 放大效應,並建立一份操作手冊,讓值班人員不必進行完整重新同步,就能讓落後的次要節點恢復。
解決方案
- 實測完整批次時段內的 oplog 峰值產生速率,依最壞情況而非平均值配置 oplog 大小
- 線上調整 oplog 大小,並在負載下驗證調整後的複寫時間窗
- 將 ETL 中改寫整份文件的操作改為針對特定欄位的更新,降低 oplog 放大效應
- 錯開批次載入的並行度,讓次要節點跟得上主要節點的寫入吞吐量
- 撰寫復原操作手冊,涵蓋次要節點落後、rollback 檔案,以及何時才真正需要重新同步
- 設定複寫延遲與 oplog 時間窗告警,並串接 24/7 升級處理流程
成效
每晚反覆發生的重新同步已完全消除,複本集現在的複寫時間窗以天計算,而不再是以小時計算。客戶的值班團隊依照操作手冊,就能自行處理大多數的延遲事件,無需升級處理。