概覽
Spark 的 executor OOM 通常只是症狀,根本原因往往是少數幾個 join 或 group 鍵佔了不成比例的資料列。AceMQ 會直接診斷資料傾斜,而不是一路調高 executor 記憶體,直到作業不再當掉為止。
挑戰
常見的模式是以某個欄位進行 join,而其中的 null 佔位值或預設租戶 ID 佔了很大比例的資料列。這些資料列全部雜湊到同一個分割區,由單一 executor 試圖承載,結果就是當掉。團隊的因應方式是調高 spark.executor.memory,這只會延後失敗、增加叢集成本,卻什麼問題也沒解決。與此同時,stage 的執行時間取決於最慢的那個 task,作業所需的時間窗口因此越拉越長。
環境
在 YARN、Kubernetes 或 Databricks 上執行的 Apache Spark,針對 Hive、Delta 或 Iceberg 資料表執行批次 ETL。
做法
AceMQ 會讀取 Spark UI 的 stage 明細與事件日誌,比較每個 task 的輸入大小與 shuffle 讀取分佈,資料傾斜便一目了然。修復方式則依資料特性選擇:版本支援時啟用自適應查詢執行、針對持續存在的熱點鍵加鹽、將 null 鍵的資料列排除於 join 路徑之外,或在維度端確實很小時改用廣播。
解決方案
- 從事件日誌分析每個 task 的輸入與 shuffle 讀取分佈,找出並量化傾斜的鍵
- 啟用自適應查詢執行(Adaptive Query Execution),並依觀察到的分佈調整傾斜 join 與分割區合併門檻
- 針對持續存在的熱點鍵進行加鹽,並對應改寫彙總邏輯
- 若 null 與哨兵值的資料列不具業務意義,則將其排除於 join 路徑之外
- 在分佈問題修正之後(而非之前),再修正 executor 記憶體、核心數與記憶體額外負荷的配置
- 檢視分割區數量與 repartition 的位置,避免不必要的完整 shuffle
成效
原本會因 OOM 間歇失敗的每晚批次作業,現在都能穩定完成;由於不再有單一 task 承載整個分割區,各 stage 的執行時間也趨於平均。叢集的記憶體配置通常不增反減。