返回所有使用案例

顧問服務醫療保健/福利

選擇符合任務特性的 executor,而不是教學文件裡用的那一個

醫療分析服務供應商

從 Celery 遷移至 Kubernetes executor(或反向遷移),並搭配符合工作負載特性的容量模型與部署設計。

概覽

Celery 與 Kubernetes executor 的成本特性恰好相反。Celery 會維持預熱的 worker,適合大量短任務,但在少數長任務上會浪費容量;Kubernetes 則為每個任務建立一個 pod,適合異質的長時間任務,但會為短任務增加相當可觀的啟動負擔。AceMQ 會實際量測任務特性,再據此進行設計。

挑戰

多數部署的 executor 都是沿用而來,而不是經過選擇。執行數千個短任務的 Celery 部署,會在固定的 worker 池後方排隊;執行相同任務的 Kubernetes executor 部署,則每個任務都得承擔 pod 啟動的成本。兩者在任務相依性解析、日誌保存與機密處理上都不相同,因此遷移所牽動的遠不只 executor 設定。若沒有經過驗證的回復機制就貿然遷移,可能讓整個協調層陷入風險。

環境

在 Kubernetes 上執行的 Apache Airflow 2.x,混合短時間的協調任務,以及提交給 Spark、Databricks 或 dbt 的長時間運算任務。

做法

AceMQ 會剖析整個部署中任務執行時間、並行度與資源用量的分布,判斷哪一種 executor 最合適,以及是否值得採用混合設計,也就是以 Kubernetes executor 為主,再為高頻率短任務配置一個 Celery 佇列。接著依 DAG 群組分階段遷移,期間兩種 executor 同時可用,並在切換前驗證日誌、機密與相依性的處理。

解決方案

  1. 剖析任務執行時間、並行度與資源用量,依實測行為判斷適合的 executor
  2. 提出 executor 建議,包括在長短任務類型值得分開佇列時採用的混合設計
  3. 為 Kubernetes executor 任務設計 pod 範本、資源請求與節點選擇器,並可依任務類型個別覆寫
  4. 為 Celery 部署設計 worker 自動擴展與佇列路由,並依實測並行度配置規模
  5. 依目標 executor 調整遠端日誌保存、機密後端與映像檔建置管線
  6. 依 DAG 群組分階段遷移並保留回復機制,在每個群組完成驗證前兩種 executor 並行運作

成效

客戶最終採用符合其任務特性的 executor,視遷移方向不同,佇列等待時間或 pod 啟動負擔都有可量化的降低。分階段遷移也意味著,沒有任何一次切換會讓整個協調層承受風險。

技術

Apache AirflowKubernetesCeleryApache Spark

需要 Apache Airflow 架構指引嗎?

AceMQ 的資深 Apache Airflow 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。