概覽
當 Databricks 工作流程在凌晨 3 點失敗、而下游報表又仰賴它時,真正有用的回應是一位看得懂 driver 日誌與 Spark UI 的工程師,而不是工單佇列。AceMQ 提供專屬資深工程師,24/7 全天候待命,享依方案而定、最快 15 分鐘起的回應目標,沒有需要繞過的 Tier 1 第一線層級。
挑戰
Databricks 上的正式環境作業故障很少只有單一原因。driver OOM 可能源自對一個日益龐大的資料集呼叫 collect();一連串任務失敗可能是 shuffle 期間 spot 執行個體被回收所致;突然出現的匯入錯誤,則可能是執行階段升級後,叢集範圍的函式庫遮蔽了 DBR 內建的版本。接著,工作流程的重試政策會在相同的故障條件下重跑成本高昂的階段,使故障代價成倍放大。
環境
在 AWS、Azure 或 GCP 上的 Databricks,執行 Workflows、Delta Live Tables 或由外部協調的作業。
做法
AceMQ 工程師依據 driver 與 executor 日誌、Spark UI 的事件時間軸以及叢集事件歷程,區分觸發事件與底層的脆弱環節。首先進行立即穩定,讓管線順利跑完今晚的批次;接著提出根本原因分析報告,以及防止再次發生的設定或程式碼變更。
解決方案
- 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,不經過 Tier 1 第一線分流
- 分析 driver 與 executor 的 OOM,包括將資料拉回 driver 的 collect、broadcast 與 accumulator 用法
- 診斷 spot 執行個體回收與節點遺失問題,並建議採用隨需(on-demand)driver 與混合機群 worker
- 解決叢集範圍、notebook 範圍與 init script 安裝方式之間的函式庫及 DBR 版本衝突
- 檢視工作流程的重試與任務相依設定,避免在非暫時性故障上發生重試風暴
- 提供事後檢討報告,列出防止再次發生所需的具體設定或程式碼變更
成效
客戶能在數小時內解決正式環境的 Databricks 事件,而不必耗上好幾個工作天;而且由於底層的脆弱環節被真正修復而非一再重試,重複發生的故障也隨之減少。