返回所有使用案例

問題修復跨產業

補上廠商技術支援範圍以外的遙測資料缺口

全球物流供應商

修復間歇性的 Datadog 遙測資料缺口,追查發現根源在於客戶自身基礎架構上的 agent 緩衝、容器生命週期與網路對外流量行為。

概覽

一家物流供應商發現,短暫存在之工作負載的指標與追蹤資料會間歇性消失。廠商的技術支援確認平台端沒有任何問題,因此剩下要查的,就是客戶自己的 agent 與基礎架構層。AceMQ 處理的正是這些層面。

挑戰

短暫執行的批次 pod 在 agent 清空緩衝區之前就已終止,因此它們最後的指標,以及執行最後幾秒內產生的追蹤資料,從未送達。另外,一次網路政策變更開始在尖峰時段丟棄部分對外流量,而 agent 的重試行為又把這個問題掩飾成間歇性、而非系統性的現象。兩個問題看起來像是同一個時好時壞的症狀,這也是它數個月來一直未能解決的原因。

環境

在 pod 汰換頻繁的 Kubernetes 上,以 DaemonSet 部署 Datadog agent,對外流量經由一條實施政策管控的共用網路路徑。

做法

AceMQ 並不營運廠商的平台,我們處理的是客戶自己擁有、而廠商技術支援不會調查的層面。我們啟用了 agent 自身的遙測,將資料缺口的時間窗與 pod 生命週期事件及對外流量指標進行關聯,先把兩個重疊的原因分開,再逐一修正。

解決方案

  1. 啟用並收集 agent 內部遙測,讓清空失敗與被丟棄的資料內容可以直接看見
  2. 將資料缺口時間窗與 pod 終止事件進行關聯,把短暫存在的工作負載獨立為一類故障
  3. 調整 pod 終止寬限期與 agent 清空行為,讓批次工作負載在結束前送出最後的資料
  4. 為對外流量路徑加上監測,揭露先前被 agent 重試掩蓋的尖峰時段丟包
  5. 修正網路政策,並調校 agent 的重試與退避設定,讓真正的丟包以錯誤的形式浮現,而不是無聲無息
  6. 針對 agent 回報的丟棄數量新增告警,讓日後的遙測資料遺失能被即時偵測,而不是事後才發現

成效

短暫存在之工作負載的遙測資料缺口已完全消失;修正對外流量政策後,尖峰時段的資料遺失也實質上降為零。客戶現在能夠分辨真正的服務中斷與資料收集失敗,這在過去只能靠猜測。

技術

DatadogKubernetesLinuxOpenTelemetry

正面臨 Datadog 正式環境問題嗎?

AceMQ 的資深 Datadog 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。