概覽
Airflow 部署是逐漸劣化的。DAG 數量不斷增加,各團隊的撰寫慣例日益分歧,中繼資料資料庫從未維護,版本也落後到升級本身就成了一個獨立專案。AceMQ 會評估整個部署,並提出依優先順序排列的修復計畫。
挑戰
這些問題很少被當成 Airflow 的問題回報,而是以管線不穩定與交付緩慢的形式浮現。深入來看,任務不具冪等性,導致重試會破壞資料;帳密存放在 Variables 而非機密後端;中繼資料資料庫累積了數百 GB 的任務執行歷程;sensor 任務一佔就是好幾個小時的 worker 槽位;而部署版本已落後好幾個次要版本,卻從未演練過升級路徑。
環境
部署於 Kubernetes、虛擬機器或託管服務上的 Apache Airflow 2.x,協調 Spark、dbt、資料倉儲與外部 API 工作負載。
做法
AceMQ 從四個面向檢視部署:基礎架構與設定、DAG 撰寫實務、資安與機密處理,以及升級準備度,並以該部署本身的歷程為基準,而不是套用通用的檢查清單。所有發現會依其帶來的營運風險與修復所需的工作量排序。
解決方案
- 依實測的 DAG 與任務量,檢視排程器、executor 與中繼資料資料庫設定
- 跨團隊稽核 DAG 撰寫實務,涵蓋冪等性、重試安全性、頂層程式碼與相依結構
- 檢視機密與連線的處理方式,包括存放在 Variables、但應移到機密後端的帳密
- 評估中繼資料資料庫的成長與維護情況,並提出保留與封存建議
- 檢視 sensor 的使用情況,在 worker 槽位被等待作業佔用之處,將阻塞式 sensor 改為 deferrable operator
- 分析版本新舊程度與升級路徑,包括 provider 套件相容性,以及經過演練的升級計畫
成效
客戶會取得一份依優先順序排列的修復待辦清單,涵蓋可靠性、資安與升級準備度;其中風險最高的項目,通常是不具冪等性的任務與以明文存放在 Variables 中的帳密,會被明確點出,而不是淹沒在籠統的建議之中。