返回所有使用案例

技術支援跨產業

24/7 Databricks 技術支援,享依方案而定、最快 15 分鐘起的回應目標,不經過 Tier 1 第一線分流

保險服務集團

由專屬工程師處理正式環境的 Databricks 作業故障,包括 driver OOM、spot 執行個體被回收、函式庫衝突,以及工作流程重試風暴。

概覽

當 Databricks 工作流程在凌晨 3 點失敗、而下游報表又仰賴它時,真正有用的回應是一位看得懂 driver 日誌與 Spark UI 的工程師,而不是工單佇列。AceMQ 提供專屬資深工程師,24/7 全天候待命,享依方案而定、最快 15 分鐘起的回應目標,沒有需要繞過的 Tier 1 第一線層級。

挑戰

Databricks 上的正式環境作業故障很少只有單一原因。driver OOM 可能源自對一個日益龐大的資料集呼叫 collect();一連串任務失敗可能是 shuffle 期間 spot 執行個體被回收所致;突然出現的匯入錯誤,則可能是執行階段升級後,叢集範圍的函式庫遮蔽了 DBR 內建的版本。接著,工作流程的重試政策會在相同的故障條件下重跑成本高昂的階段,使故障代價成倍放大。

環境

在 AWS、Azure 或 GCP 上的 Databricks,執行 Workflows、Delta Live Tables 或由外部協調的作業。

做法

AceMQ 工程師依據 driver 與 executor 日誌、Spark UI 的事件時間軸以及叢集事件歷程,區分觸發事件與底層的脆弱環節。首先進行立即穩定,讓管線順利跑完今晚的批次;接著提出根本原因分析報告,以及防止再次發生的設定或程式碼變更。

解決方案

  1. 依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師 24/7 處理,不經過 Tier 1 第一線分流
  2. 分析 driver 與 executor 的 OOM,包括將資料拉回 driver 的 collect、broadcast 與 accumulator 用法
  3. 診斷 spot 執行個體回收與節點遺失問題,並建議採用隨需(on-demand)driver 與混合機群 worker
  4. 解決叢集範圍、notebook 範圍與 init script 安裝方式之間的函式庫及 DBR 版本衝突
  5. 檢視工作流程的重試與任務相依設定,避免在非暫時性故障上發生重試風暴
  6. 提供事後檢討報告,列出防止再次發生所需的具體設定或程式碼變更

成效

客戶能在數小時內解決正式環境的 Databricks 事件,而不必耗上好幾個工作天;而且由於底層的脆弱環節被真正修復而非一再重試,重複發生的故障也隨之減少。

技術

DatabricksApache SparkDelta Lake

需要專業的 Databricks 技術支援嗎?

AceMQ 的資深 Databricks 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。