概覽
一家廣告交易平台仰賴 Druid 進行近乎即時的出價分析。在尖峰流量期間,Kafka supervisor 延遲從數秒暴增到數小時,交易員所依賴的儀表板偏偏在最關鍵的時刻顯示過時資料。AceMQ 依緊急 SLA 介入處理。
挑戰
延遲來自多個相互疊加的源頭。由於匯入任務執行時間過長,佔住了等待中任務所需的槽位,Middle Manager 的任務槽位因而耗盡。這些任務產生的 segment 過大,導致交接至深層儲存與載入 historical 節點的速度緩慢。失敗的任務又被重試回同一個已飽和的槽位集區。
環境
在 Kubernetes 上執行的 Apache Druid,從 Kafka 匯入出價與曝光資料流,進行即時分析。
做法
AceMQ 端對端追蹤整條匯入管線,包括 supervisor、任務指派、segment 發布、交接與 historical 載入,找出時間實際累積的位置,而不是單獨調校 supervisor。容量與任務型態一併修正,因為只修其中一項,只會讓佇列換個地方堆積。
解決方案
- 追蹤從 supervisor 到交接與 historical 載入的完整匯入路徑,找出真正的延遲所在
- 依實際的並行任務需求,重新平衡 Middle Manager 的 worker 容量與任務槽位配置
- 調整任務持續時間與 segment 粒度,讓任務以可預期的節奏釋放槽位
- 修正 segment 大小,讓交接與 historical 載入能在匯入時間窗內完成
- 將串流匯入容量與批次及壓縮整併任務的容量分開,避免彼此爭用
- 將 supervisor 延遲、任務槽位使用率與交接時間設為各自獨立、可告警的監控訊號
成效
匯入延遲回到秒級範圍,並在尖峰流量期間維持穩定。交易儀表板現在能在實際使用的時段呈現最新資料。