返回所有使用案例

問題修復軟體/數位平台

讓即時資料匯入重新回到延遲預算之內

數位廣告交易平台

解決因任務槽位耗盡、匯入任務過大,以及交接至深層儲存失敗所造成的 Kafka supervisor 延遲。

概覽

一家廣告交易平台仰賴 Druid 進行近乎即時的出價分析。在尖峰流量期間,Kafka supervisor 延遲從數秒暴增到數小時,交易員所依賴的儀表板偏偏在最關鍵的時刻顯示過時資料。AceMQ 依緊急 SLA 介入處理。

挑戰

延遲來自多個相互疊加的源頭。由於匯入任務執行時間過長,佔住了等待中任務所需的槽位,Middle Manager 的任務槽位因而耗盡。這些任務產生的 segment 過大,導致交接至深層儲存與載入 historical 節點的速度緩慢。失敗的任務又被重試回同一個已飽和的槽位集區。

環境

在 Kubernetes 上執行的 Apache Druid,從 Kafka 匯入出價與曝光資料流,進行即時分析。

做法

AceMQ 端對端追蹤整條匯入管線,包括 supervisor、任務指派、segment 發布、交接與 historical 載入,找出時間實際累積的位置,而不是單獨調校 supervisor。容量與任務型態一併修正,因為只修其中一項,只會讓佇列換個地方堆積。

解決方案

  1. 追蹤從 supervisor 到交接與 historical 載入的完整匯入路徑,找出真正的延遲所在
  2. 依實際的並行任務需求,重新平衡 Middle Manager 的 worker 容量與任務槽位配置
  3. 調整任務持續時間與 segment 粒度,讓任務以可預期的節奏釋放槽位
  4. 修正 segment 大小,讓交接與 historical 載入能在匯入時間窗內完成
  5. 將串流匯入容量與批次及壓縮整併任務的容量分開,避免彼此爭用
  6. 將 supervisor 延遲、任務槽位使用率與交接時間設為各自獨立、可告警的監控訊號

成效

匯入延遲回到秒級範圍,並在尖峰流量期間維持穩定。交易儀表板現在能在實際使用的時段呈現最新資料。

技術

Apache DruidKafkaKubernetesPrometheus

正面臨 Apache Druid 正式環境問題嗎?

AceMQ 的資深 Apache Druid 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。