概要
スケジューラーのプロセスが正常なのにAirflowがスケジューリングを止めてしまう場合、よくある原因は、実行中とされているタスクの裏で実際のプロセスがもう動いていないことです。こうしたタスクはエグゼキューターのスロットとプールの容量を無期限に占有し、スロットが尽きると新しいタスクはキューに入らなくなります。AceMQはこの状態を解消し、原因を取り除きます。
課題
ゾンビタスクは、タスクの途中でエビクションされたワーカーPod、OOM Killerに強制終了されたCeleryワーカー、タスクの状態を更新しないままハートビートを途切れさせるネットワーク分断によって蓄積していきます。メタデータデータベース上では実行中のままなので、エグゼキューターはそれらを並列度とプールのスロットに算入し続けます。一方で、タスクインスタンスのテーブルが肥大化するにつれてスケジューラーのループ時間が悪化し、検知がさらに遅れます。古い状態はデータベースに残っているため、スケジューラーを再起動しても解決しません。
環境
KubernetesまたはVM上のApache Airflow 2.x。CeleryまたはKubernetesのエグゼキューターと、PostgreSQLまたはMySQLのメタデータデータベースを使用しています。
アプローチ
AceMQは、停止したタスクインスタンスを特定し、その状態を実際のワーカープロセスと突き合わせて整合させることで、占有されていたスロットを解放し、スケジューリングを再開させます。そのうえで、ゾンビ検知のしきい値とハートビートのタイムアウトを実際のタスク実行時間に合わせ、エビクションがきっかけだった箇所ではワーカーのリソース制限を修正し、メタデータデータベースのメンテナンスを定期化して、スケジューラーのループ時間が一定の範囲に収まるようにします。
ソリューション
- 停止したタスクインスタンスを稼働中のワーカープロセスと突き合わせて特定・整合させ、エグゼキューターとプールのスロットを解放
- ゾンビ検知のしきい値とタスクのハートビート間隔を、長時間実行される実際のタスクの所要時間に合わせて調整
- Podの終了が孤立タスクの発生源となっている箇所について、ワーカーのリソース制限とエビクションを見直し
- pool、parallelism、dag_concurrency、max_active_tasksの設定を、実際のワーカーの処理能力に合わせて修正
- 保持ポリシーに基づくタスクインスタンスとログテーブルのクリーンアップを含む、メタデータデータベースのメンテナンス
- キュー投入済みタスクの滞留時間とスケジューラーのループ時間に基づくヘルスアラートで、次の停止を数分以内に検知
結果
スケジューリングはすぐに再開し、タイムアウトの修正、ワーカーのサイジング、データベースのメンテナンスを組み合わせることで、停止したタスクがスロットを占有することはなくなりました。以前は朝のレポートが届かないことで初めて気づいていた停止も、今では数分以内にアラートが上がります。