概覽
當 Spark 作業花在將 shuffle 資料寫入磁碟的時間比運算還多時,增加 executor 幫助不大——瓶頸在於作業原本不需要做的 I/O。AceMQ 會剖析 shuffle 量的來源,並重新調整作業結構來避免這些 I/O。
挑戰
夜間批次作業會隨著時間累積大量 shuffle 的寫法:重複的 repartition、在篩選之前執行 join、在未修剪欄位上進行寬幅彙總,以及早已不符合資料量的固定 shuffle 分割區數量。於是 spill 到磁碟佔據了大部分執行時間;又因為作業受限於最慢的 stage,批次時段一點一點地超過下游報表所仰賴的期限。
環境
在 YARN 或 Kubernetes 上執行夜間批次 ETL 的 Apache Spark,處理對象通常是數 TB 規模的 Hive 或 Delta 資料表。
做法
AceMQ 會建立 stage 層級的 shuffle 讀寫量與 spill 位元組剖析,找出造成大部分 I/O 的少數 stage。接著在進行任何設定調校之前,先從結構上處理這些 stage——述詞與投影下推(pushdown)、調整 join 順序、移除多餘的 repartition。分割區大小與序列化設定則留到最後,依修正後的作業結構進行調整。
解決方案
- stage 層級的 shuffle 讀取、寫入與 spill 剖析,找出拖長批次時段的 stage
- 將述詞篩選與欄位修剪提前到 join 之前,讓 shuffle 承載的資料更少
- 移除多餘的 repartition 與 coalesce 呼叫,避免毫無效益的完整 shuffle
- 依實際每個分割區的資料量,調整 shuffle.partitions 大小與 Adaptive Query Execution 的合併設定
- 依修正後的作業結構,調整 Kryo 序列化、壓縮編解碼器與 shuffle 緩衝區設定
- 檢視 external shuffle service 與本機磁碟配置,在 I/O 爭用時配置專用的 spill 磁碟區
成效
在經過處理的作業上,客戶通常能將夜間批次時段縮短約三分之一,而最大的效益來自結構調整,而非設定調校。由於 shuffle 量不再隨每次資料增加而成長,批次時段也不再逐漸延長。