返回所有使用案例

顧問服務金融服務/支付

減少 shuffle,批次時段自然跟著縮短

全國性零售銀行

降低夜間批次作業的 shuffle 寫入量與磁碟 spill,讓處理時段能在報表期限內完成。

概覽

當 Spark 作業花在將 shuffle 資料寫入磁碟的時間比運算還多時,增加 executor 幫助不大——瓶頸在於作業原本不需要做的 I/O。AceMQ 會剖析 shuffle 量的來源,並重新調整作業結構來避免這些 I/O。

挑戰

夜間批次作業會隨著時間累積大量 shuffle 的寫法:重複的 repartition、在篩選之前執行 join、在未修剪欄位上進行寬幅彙總,以及早已不符合資料量的固定 shuffle 分割區數量。於是 spill 到磁碟佔據了大部分執行時間;又因為作業受限於最慢的 stage,批次時段一點一點地超過下游報表所仰賴的期限。

環境

在 YARN 或 Kubernetes 上執行夜間批次 ETL 的 Apache Spark,處理對象通常是數 TB 規模的 Hive 或 Delta 資料表。

做法

AceMQ 會建立 stage 層級的 shuffle 讀寫量與 spill 位元組剖析,找出造成大部分 I/O 的少數 stage。接著在進行任何設定調校之前,先從結構上處理這些 stage——述詞與投影下推(pushdown)、調整 join 順序、移除多餘的 repartition。分割區大小與序列化設定則留到最後,依修正後的作業結構進行調整。

解決方案

  1. stage 層級的 shuffle 讀取、寫入與 spill 剖析,找出拖長批次時段的 stage
  2. 將述詞篩選與欄位修剪提前到 join 之前,讓 shuffle 承載的資料更少
  3. 移除多餘的 repartition 與 coalesce 呼叫,避免毫無效益的完整 shuffle
  4. 依實際每個分割區的資料量,調整 shuffle.partitions 大小與 Adaptive Query Execution 的合併設定
  5. 依修正後的作業結構,調整 Kryo 序列化、壓縮編解碼器與 shuffle 緩衝區設定
  6. 檢視 external shuffle service 與本機磁碟配置,在 I/O 爭用時配置專用的 spill 磁碟區

成效

在經過處理的作業上,客戶通常能將夜間批次時段縮短約三分之一,而最大的效益來自結構調整,而非設定調校。由於 shuffle 量不再隨每次資料增加而成長,批次時段也不再逐漸延長。

技術

Apache SparkApache HadoopYARNApache Hive

需要 Apache Spark 架構指引嗎?

AceMQ 的資深 Apache Spark 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。