返回所有使用案例

評估金融服務/支付

先找出 DBU 究竟花在哪裡,再停止為閒置的運算資源付費

全球支付處理商

將排程工作移出 all-purpose 叢集,並收緊自動擴展、執行個體選擇與閒置逾時設定,讓 Databricks 運算資源規模恰到好處。

概覽

Databricks 以 DBU 計費,同一個 notebook 在 job 叢集上只需幾美元,放到整天開著的互動式 all-purpose 叢集上,成本卻可能高出好幾倍。AceMQ 會依照實際執行的工作負載稽核叢集的實際使用情況,並提出附有成本估算的改善計畫。

挑戰

從 notebook 起步的團隊,往往因為方便,而把正式環境的 ETL 一直留在共用的 all-purpose 叢集上。為了避免冷啟動,自動擴展的下限被設得很高;為了不讓任何人的工作階段中斷,閒置逾時被停用;而叢集政策不是根本不存在,就是寬鬆到無法約束任何事。結果就是帳單的成長速度超過資料量,而且無法清楚歸屬到任何一個團隊或管線。

環境

AWS、Azure 或 GCP 上的 Databricks,工作負載涵蓋 notebook、排程 job 與 Delta Live Tables 管線。

做法

AceMQ 擷取系統資料表與叢集事件日誌,為每個工作負載建立 DBU 使用輪廓,將互動式探索與排程的正式環境工作區分開來。針對每一個高成本的工作負載,我們會檢視成本究竟來自運算資源的選擇、執行時間,還是資料配置。接著我們定義叢集政策與執行個體池設定,讓低成本的做法成為預設做法,而不是仰賴各團隊的自律。

解決方案

  1. 從系統資料表與叢集事件日誌,依工作負載、團隊與叢集類型歸屬 DBU 用量
  2. 將排程管線從 all-purpose 叢集移至具有短暫生命週期的 job 叢集
  3. 審查自動擴展下限、閒置逾時與執行個體系列,並逐一評估各工作負載是否適合使用 Photon 與 spot 執行個體
  4. 依工作區與團隊,以叢集政策限制節點類型、worker 數量與 DBR 版本
  5. 設計執行個體池,在不需整夜保留預熱容量的情況下降低冷啟動成本
  6. 建立標記與內部計費模型,讓平台支出能對應到產生支出的團隊

成效

客戶會取得一份排序清單,列出占 DBU 支出大宗的工作負載,以及一套能防止新工作重蹈覆轍的政策。在大多數合作中,我們找出的閒置與過大運算資源,足以在不更動任何一條管線邏輯的情況下,明顯降低平台支出。

技術

DatabricksApache SparkDelta LakeTerraform

準備好進行 Databricks 健康檢查了嗎?

AceMQ 的資深 Databricks 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。