返回所有使用案例

問題修復電信

199 個 task 一分鐘就完成、只有一個跑了一小時,問題就出在資料傾斜

電信業者

修復每晚批次作業的問題:少數傾斜的鍵把資料集中到幾個 executor 上,導致記憶體不足失敗一再發生。

概覽

Spark 的 executor OOM 通常只是症狀,根本原因往往是少數幾個 join 或 group 鍵佔了不成比例的資料列。AceMQ 會直接診斷資料傾斜,而不是一路調高 executor 記憶體,直到作業不再當掉為止。

挑戰

常見的模式是以某個欄位進行 join,而其中的 null 佔位值或預設租戶 ID 佔了很大比例的資料列。這些資料列全部雜湊到同一個分割區,由單一 executor 試圖承載,結果就是當掉。團隊的因應方式是調高 spark.executor.memory,這只會延後失敗、增加叢集成本,卻什麼問題也沒解決。與此同時,stage 的執行時間取決於最慢的那個 task,作業所需的時間窗口因此越拉越長。

環境

在 YARN、Kubernetes 或 Databricks 上執行的 Apache Spark,針對 Hive、Delta 或 Iceberg 資料表執行批次 ETL。

做法

AceMQ 會讀取 Spark UI 的 stage 明細與事件日誌,比較每個 task 的輸入大小與 shuffle 讀取分佈,資料傾斜便一目了然。修復方式則依資料特性選擇:版本支援時啟用自適應查詢執行、針對持續存在的熱點鍵加鹽、將 null 鍵的資料列排除於 join 路徑之外,或在維度端確實很小時改用廣播。

解決方案

  1. 從事件日誌分析每個 task 的輸入與 shuffle 讀取分佈,找出並量化傾斜的鍵
  2. 啟用自適應查詢執行(Adaptive Query Execution),並依觀察到的分佈調整傾斜 join 與分割區合併門檻
  3. 針對持續存在的熱點鍵進行加鹽,並對應改寫彙總邏輯
  4. 若 null 與哨兵值的資料列不具業務意義,則將其排除於 join 路徑之外
  5. 在分佈問題修正之後(而非之前),再修正 executor 記憶體、核心數與記憶體額外負荷的配置
  6. 檢視分割區數量與 repartition 的位置,避免不必要的完整 shuffle

成效

原本會因 OOM 間歇失敗的每晚批次作業,現在都能穩定完成;由於不再有單一 task 承載整個分割區,各 stage 的執行時間也趨於平均。叢集的記憶體配置通常不增反減。

技術

Apache SparkApache HadoopDelta LakeYARN

正面臨 Apache Spark 正式環境問題嗎?

AceMQ 的資深 Apache Spark 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。