返回所有使用案例

技術支援軟體/數位平台

一個緩慢的 DAG 檔案,拖慢整個部署中的每一個 DAG

數位零售平台

修正 DAG 檔案在解析時進行網路或資料庫呼叫、拖累部署中所有 DAG 的 scheduler 延遲問題。

概覽

Airflow scheduler 會持續重新解析 DAG 檔案,DAG 檔案頂層任何耗時的程式碼,都會在每次解析時付出代價。只要有一個檔案在匯入時查詢資料庫或呼叫 API,就可能讓總解析時間超過間隔,進而延誤整個部署的排程。AceMQ 會找出問題檔案,並修正這種寫法。

挑戰

症狀十分分散:DAG 比排定時間晚好幾分鐘才啟動、UI 反應緩慢,新的 DAG 檔案也要很久才會出現。常見原因包括在頂層呼叫 variable 後端或 secrets manager、在匯入時查詢資料庫的動態 DAG 產生、在模組層級匯入大型函式庫,以及檔案數量龐大且解析間隔過短。單獨看每一個 DAG,似乎都沒有問題。

環境

部署於 Kubernetes 或 VM 上的 Apache Airflow 2.x,擁有數十到數千個 DAG 檔案,包括動態產生的 DAG。

做法

AceMQ 工程師會讀取 DAG processor 的逐檔解析時間,依成本為檔案排序,結果通常顯示少數幾個檔案就佔了總時間的大半。我們會把這些檔案中的工作從模組範圍移到任務的 callable 或延後查詢中,再針對修正後的檔案集調校解析設定。

解決方案

  1. 24/7 提供依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師負責,沒有 Tier-1 分流
  2. 從 DAG processor 日誌分析逐檔解析時間,依匯入成本為檔案排序
  3. 移除每次解析都會執行的頂層 Variable、Connection 與 secrets 後端呼叫
  4. 改寫動態 DAG 產生方式,改用快取或檔案形式的中繼資料,而非在匯入時查詢資料庫
  5. 依修正後的解析狀況,調校 min_file_process_interval、解析程序數與 dag_dir_list_interval
  6. 在原本於匯入時靜態展開 DAG 結構之處,改用延後處理與動態任務對應(dynamic task mapping)模式

成效

排程延遲回到秒級,DAG 解析時間也不再隨 DAG 檔案數量增加而上升。新的 DAG 能及時出現,UI 也恢復可用。

技術

Apache AirflowKubernetesPostgreSQL

需要專業的 Apache Airflow 技術支援嗎?

AceMQ 的資深 Apache Airflow 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。