概覽
當 Airflow 停止排程、scheduler 程序卻看似正常時,常見原因是標示為執行中的任務,背後已經沒有存活的程序。這些任務會無限期佔住 executor slot 與 pool 容量,一旦 slot 耗盡,就沒有任何新任務能進入佇列。AceMQ 會排除這個狀況,並消除根本原因。
挑戰
殭屍任務的來源包括:任務執行到一半被驅逐的 worker pod、被 OOM killer 終止的 Celery worker,以及中斷心跳卻沒有更新任務狀態的網路分割。中繼資料資料庫仍顯示它們正在執行,因此 executor 會把它們計入 parallelism 與 pool slot。同時,隨著 task instance 資料表不斷變大,scheduler 迴圈時間也跟著變長,讓偵測更加緩慢。重新啟動 scheduler 也無濟於事,因為過時的狀態存在資料庫裡。
環境
部署於 Kubernetes 或 VM 上的 Apache Airflow 2.x,使用 Celery 或 Kubernetes executor,中繼資料資料庫為 PostgreSQL 或 MySQL。
做法
AceMQ 會找出卡住的 task instance,並依實際的 worker 程序校正其狀態,釋放被佔住的 slot,讓排程恢復。接著依實際任務執行時間調整殭屍偵測門檻與心跳逾時;若驅逐是觸發原因,就修正 worker 的資源限制;並將中繼資料資料庫維護排入固定排程,讓 scheduler 迴圈時間維持在可控範圍內。
解決方案
- 找出卡住的 task instance,依存活的 worker 程序校正狀態,釋放 executor 與 pool slot
- 依長時間執行任務的實際時長,調整殭屍偵測門檻與任務心跳間隔
- 當 pod 終止是孤兒任務的來源時,檢視 worker 資源限制與驅逐狀況
- 依實際 worker 容量修正 pool、parallelism、dag_concurrency 與 max_active_tasks 設定
- 中繼資料資料庫維護,包括依保留政策清理 task instance 與日誌資料表
- 針對排隊任務等待時間與 scheduler 迴圈時長設定健康告警,讓下一次停滯能在幾分鐘內被偵測到
成效
排程立即恢復,而修正後的逾時設定、worker 規格與資料庫維護相互配合,讓 slot 不再被已失效的任務佔住。過去要等到早上發現報表沒產出才會注意到的停滯,現在幾分鐘內就會發出告警。