概覽
一家物流供應商發現,短暫存在之工作負載的指標與追蹤資料會間歇性消失。廠商的技術支援確認平台端沒有任何問題,因此剩下要查的,就是客戶自己的 agent 與基礎架構層。AceMQ 處理的正是這些層面。
挑戰
短暫執行的批次 pod 在 agent 清空緩衝區之前就已終止,因此它們最後的指標,以及執行最後幾秒內產生的追蹤資料,從未送達。另外,一次網路政策變更開始在尖峰時段丟棄部分對外流量,而 agent 的重試行為又把這個問題掩飾成間歇性、而非系統性的現象。兩個問題看起來像是同一個時好時壞的症狀,這也是它數個月來一直未能解決的原因。
環境
在 pod 汰換頻繁的 Kubernetes 上,以 DaemonSet 部署 Datadog agent,對外流量經由一條實施政策管控的共用網路路徑。
做法
AceMQ 並不營運廠商的平台,我們處理的是客戶自己擁有、而廠商技術支援不會調查的層面。我們啟用了 agent 自身的遙測,將資料缺口的時間窗與 pod 生命週期事件及對外流量指標進行關聯,先把兩個重疊的原因分開,再逐一修正。
解決方案
- 啟用並收集 agent 內部遙測,讓清空失敗與被丟棄的資料內容可以直接看見
- 將資料缺口時間窗與 pod 終止事件進行關聯,把短暫存在的工作負載獨立為一類故障
- 調整 pod 終止寬限期與 agent 清空行為,讓批次工作負載在結束前送出最後的資料
- 為對外流量路徑加上監測,揭露先前被 agent 重試掩蓋的尖峰時段丟包
- 修正網路政策,並調校 agent 的重試與退避設定,讓真正的丟包以錯誤的形式浮現,而不是無聲無息
- 針對 agent 回報的丟棄數量新增告警,讓日後的遙測資料遺失能被即時偵測,而不是事後才發現
成效
短暫存在之工作負載的遙測資料缺口已完全消失;修正對外流量政策後,尖峰時段的資料遺失也實質上降為零。客戶現在能夠分辨真正的服務中斷與資料收集失敗,這在過去只能靠猜測。