概覽
Airflow scheduler 會持續重新解析 DAG 檔案,DAG 檔案頂層任何耗時的程式碼,都會在每次解析時付出代價。只要有一個檔案在匯入時查詢資料庫或呼叫 API,就可能讓總解析時間超過間隔,進而延誤整個部署的排程。AceMQ 會找出問題檔案,並修正這種寫法。
挑戰
症狀十分分散:DAG 比排定時間晚好幾分鐘才啟動、UI 反應緩慢,新的 DAG 檔案也要很久才會出現。常見原因包括在頂層呼叫 variable 後端或 secrets manager、在匯入時查詢資料庫的動態 DAG 產生、在模組層級匯入大型函式庫,以及檔案數量龐大且解析間隔過短。單獨看每一個 DAG,似乎都沒有問題。
環境
部署於 Kubernetes 或 VM 上的 Apache Airflow 2.x,擁有數十到數千個 DAG 檔案,包括動態產生的 DAG。
做法
AceMQ 工程師會讀取 DAG processor 的逐檔解析時間,依成本為檔案排序,結果通常顯示少數幾個檔案就佔了總時間的大半。我們會把這些檔案中的工作從模組範圍移到任務的 callable 或延後查詢中,再針對修正後的檔案集調校解析設定。
解決方案
- 24/7 提供依方案而定、最快 15 分鐘起的回應目標,由專屬資深工程師負責,沒有 Tier-1 分流
- 從 DAG processor 日誌分析逐檔解析時間,依匯入成本為檔案排序
- 移除每次解析都會執行的頂層 Variable、Connection 與 secrets 後端呼叫
- 改寫動態 DAG 產生方式,改用快取或檔案形式的中繼資料,而非在匯入時查詢資料庫
- 依修正後的解析狀況,調校 min_file_process_interval、解析程序數與 dag_dir_list_interval
- 在原本於匯入時靜態展開 DAG 結構之處,改用延後處理與動態任務對應(dynamic task mapping)模式
成效
排程延遲回到秒級,DAG 解析時間也不再隨 DAG 檔案數量增加而上升。新的 DAG 能及時出現,UI 也恢復可用。