概覽
一家製造商在每座工廠執行 Prometheus,再加上一層全域 federation,卻發現全域儀表板與本地儀表板的數據不一致。AceMQ 評估了這套拓撲,判斷在他們的規模下,federation 是否是正確的模式。
挑戰
階層式 federation 被用來拉取原始序列而不是彙總資料,因此全域執行個體在每個間隔都要從各據點 scrape 龐大的資料量。Scrape 經常超過逾時時間,只回傳部分資料,這正是全域與本地視圖不一致的原因。WAN 連線時斷時續的據點會出現資料缺口,看起來就像工廠停擺。在真正的生產事故中,沒有人知道該相信哪些數字。
環境
部署於多個製造據點的 Prometheus,透過時斷時續的 WAN 連線連到中央可觀測性環境。
做法
這項評估量測了 federation 實際傳輸的資料量,並與 scrape 逾時預算比較,讓部分 scrape 的問題一目了然。接著我們評估,以 remote write 搭配中央儲存,是否比 federation 更能滿足客戶的需求,並依實際序列數量,模擬兩種方案在頻寬與儲存上的影響。
解決方案
- 量測每個據點的 federation 資料量與所需時間,並與設定的 scrape 逾時比較
- 將部分 scrape 與資料缺口事件與 WAN 連線事件進行關聯,區分網路問題與設定問題
- 在各據點設計 recording rule,只讓彙總資料離開工廠,將 federation 資料量削減數個數量級
- 評估以 remote write 搭配中央長期儲存作為替代方案,並依實際序列數量模擬頻寬與儲存需求
- 定義緩衝與重試行為,讓 WAN 中斷後資料能被補回,而不是留下永久缺口
- 定義各據點的保留期限,即使只有彙總資料送往中央,本地工程師仍能保有完整解析度
成效
客戶改用據點層級的 recording rule 加上 remote write,完全消除了部分 scrape 造成的資料缺口。全域與據點儀表板現在數據一致,WAN 中斷後資料也會補回,不再在紀錄中留下永久的空洞。