返回所有使用案例

評估軟體/數位平台

找出哪些 Spark 作業值得它們耗用的運算資源,哪些不值得

影音串流服務商

剖析 Spark 環境,找出資源配置過度的作業、重複的 pipeline,以及其實不適合用 Spark 處理的工作負載。

概覽

Spark 環境是一點一滴累積起來的。作業被複製,資源需求為了趕一次期限而調高後就再也沒有修正,pipeline 也比它們所供應的報表活得更久。AceMQ 會剖析整個環境,交回一份依優先順序排列的清單:該修正什麼、該整併什麼、該刪除什麼。

挑戰

沒有人完整掌握哪些作業在執行、各自的成本,以及誰在使用它們的輸出。Executor 數量與記憶體設定是保守估計出來的,而不是實際量測。好幾個 pipeline 從同一個來源計算幾乎相同的彙總結果。相當比例的作業處理的資料量很小,Spark 本身的額外負擔甚至超過實際工作量,改用單一節點的程序反而會跑得更快。

環境

執行於 Kubernetes、EMR、Dataproc 或 Databricks 上的 Apache Spark,作業由 Airflow 或原生排程器編排。

做法

AceMQ 蒐集整個環境的 event log 與排程器歷史紀錄,建立每個作業的執行時間、資源配置與使用率剖析。將配置的資源與觀察到的峰值用量比較,找出配置過度之處;並追蹤輸出的資料血緣,找出使用者已不存在的 pipeline。每一項發現都附有具體的建議行動,而不是籠統的觀察。

解決方案

  1. 全環境的作業清冊,包含執行時間、配置資源、峰值使用率與每次執行成本
  2. 配置過度分析,比較申請的 executor 記憶體與核心數和實測峰值用量
  3. 透過來源與輸出資料血緣,偵測重複與近似重複的 pipeline
  4. 找出 Spark 額外負擔超過實際工作量、改用單一節點引擎更快更省的小資料量作業
  5. 偵測下游已不再讀取輸出的孤立 pipeline
  6. 依節省成本與所需工程投入排序的修正待辦清單

成效

客戶得到的是一份具體、排好順序的待辦清單,而不是籠統的效率報告。大多數環境中,配置過度與孤立的工作就足以在改寫任何作業之前,大幅降低運算支出。

技術

Apache SparkDatabricksDelta LakeKubernetes

準備好進行 Apache Spark 健康檢查了嗎?

AceMQ 的資深 Apache Spark 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。