概覽
Celery 與 Kubernetes executor 的成本特性恰好相反。Celery 會維持預熱的 worker,適合大量短任務,但在少數長任務上會浪費容量;Kubernetes 則為每個任務建立一個 pod,適合異質的長時間任務,但會為短任務增加相當可觀的啟動負擔。AceMQ 會實際量測任務特性,再據此進行設計。
挑戰
多數部署的 executor 都是沿用而來,而不是經過選擇。執行數千個短任務的 Celery 部署,會在固定的 worker 池後方排隊;執行相同任務的 Kubernetes executor 部署,則每個任務都得承擔 pod 啟動的成本。兩者在任務相依性解析、日誌保存與機密處理上都不相同,因此遷移所牽動的遠不只 executor 設定。若沒有經過驗證的回復機制就貿然遷移,可能讓整個協調層陷入風險。
環境
在 Kubernetes 上執行的 Apache Airflow 2.x,混合短時間的協調任務,以及提交給 Spark、Databricks 或 dbt 的長時間運算任務。
做法
AceMQ 會剖析整個部署中任務執行時間、並行度與資源用量的分布,判斷哪一種 executor 最合適,以及是否值得採用混合設計,也就是以 Kubernetes executor 為主,再為高頻率短任務配置一個 Celery 佇列。接著依 DAG 群組分階段遷移,期間兩種 executor 同時可用,並在切換前驗證日誌、機密與相依性的處理。
解決方案
- 剖析任務執行時間、並行度與資源用量,依實測行為判斷適合的 executor
- 提出 executor 建議,包括在長短任務類型值得分開佇列時採用的混合設計
- 為 Kubernetes executor 任務設計 pod 範本、資源請求與節點選擇器,並可依任務類型個別覆寫
- 為 Celery 部署設計 worker 自動擴展與佇列路由,並依實測並行度配置規模
- 依目標 executor 調整遠端日誌保存、機密後端與映像檔建置管線
- 依 DAG 群組分階段遷移並保留回復機制,在每個群組完成驗證前兩種 executor 並行運作
成效
客戶最終採用符合其任務特性的 executor,視遷移方向不同,佇列等待時間或 pod 啟動負擔都有可量化的降低。分階段遷移也意味著,沒有任何一次切換會讓整個協調層承受風險。