概覽
Databricks 以 DBU 計費,同一個 notebook 在 job 叢集上只需幾美元,放到整天開著的互動式 all-purpose 叢集上,成本卻可能高出好幾倍。AceMQ 會依照實際執行的工作負載稽核叢集的實際使用情況,並提出附有成本估算的改善計畫。
挑戰
從 notebook 起步的團隊,往往因為方便,而把正式環境的 ETL 一直留在共用的 all-purpose 叢集上。為了避免冷啟動,自動擴展的下限被設得很高;為了不讓任何人的工作階段中斷,閒置逾時被停用;而叢集政策不是根本不存在,就是寬鬆到無法約束任何事。結果就是帳單的成長速度超過資料量,而且無法清楚歸屬到任何一個團隊或管線。
環境
AWS、Azure 或 GCP 上的 Databricks,工作負載涵蓋 notebook、排程 job 與 Delta Live Tables 管線。
做法
AceMQ 擷取系統資料表與叢集事件日誌,為每個工作負載建立 DBU 使用輪廓,將互動式探索與排程的正式環境工作區分開來。針對每一個高成本的工作負載,我們會檢視成本究竟來自運算資源的選擇、執行時間,還是資料配置。接著我們定義叢集政策與執行個體池設定,讓低成本的做法成為預設做法,而不是仰賴各團隊的自律。
解決方案
- 從系統資料表與叢集事件日誌,依工作負載、團隊與叢集類型歸屬 DBU 用量
- 將排程管線從 all-purpose 叢集移至具有短暫生命週期的 job 叢集
- 審查自動擴展下限、閒置逾時與執行個體系列,並逐一評估各工作負載是否適合使用 Photon 與 spot 執行個體
- 依工作區與團隊,以叢集政策限制節點類型、worker 數量與 DBR 版本
- 設計執行個體池,在不需整夜保留預熱容量的情況下降低冷啟動成本
- 建立標記與內部計費模型,讓平台支出能對應到產生支出的團隊
成效
客戶會取得一份排序清單,列出占 DBU 支出大宗的工作負載,以及一套能防止新工作重蹈覆轍的政策。在大多數合作中,我們找出的閒置與過大運算資源,足以在不更動任何一條管線邏輯的情況下,明顯降低平台支出。