概要
Airflowのスケジューラーは継続的にDAGファイルを再パースしており、DAGファイルのトップレベルにある遅い処理は、パースのたびにコストとして跳ね返ります。インポート中にデータベースへのクエリやAPI呼び出しを行うファイルが1つあるだけで、全体のパース時間が間隔を超え、環境全体のスケジューリングが遅れることがあります。AceMQは問題のファイルを特定し、そのパターンを修正します。
課題
症状はとらえどころがありません。DAGの開始が予定時刻より数分遅れ、UIが重くなり、新しいDAGファイルが表示されるまでに長い時間がかかります。よくある原因は、変数バックエンドやシークレットマネージャーへのトップレベルでの呼び出し、インポート時にデータベースにクエリを発行する動的なDAG生成、モジュールレベルでの重いライブラリのインポート、そして短いパース間隔で大量のファイルを扱っていることです。個々のDAGは、単体で見ればどれも無害に見えます。
環境
Kubernetesまたは仮想マシン上で、動的に生成されるDAGを含む数十から数千のDAGファイルを扱うApache Airflow 2.x環境。
アプローチ
AceMQのエンジニアは、DAGプロセッサーのファイルごとのパース時間を読み取り、コストの高い順にファイルを並べます。通常は、少数のファイルが全体の大半を占めていることが分かります。それらのファイルについて、モジュールスコープの処理をタスクの呼び出し可能オブジェクトや遅延参照に移して修正し、その後、修正後のファイル群に合わせてパースの設定をチューニングします。
ソリューション
- プランに応じた15分からの対応目標。専任のシニアエンジニア、24/7対応、ティア1での一次切り分けなし
- DAGプロセッサーのログからファイルごとのパース時間を分析し、インポートコストの高い順にファイルを特定
- パースのたびに実行されるVariable、Connection、シークレットバックエンドへのトップレベルの呼び出しを削除
- インポート時のデータベースクエリではなく、キャッシュやファイルベースのメタデータを使うよう動的なDAG生成を書き換え
- 修正後のパースプロファイルに合わせて、min_file_process_interval、パースプロセス数、dag_dir_list_intervalをチューニング
- インポート時にDAG構造を静的に展開していた箇所に、遅延・動的タスクマッピングのパターンを適用
結果
スケジューリングの遅延は数秒程度まで戻り、DAGのパース時間がDAGファイルの数に比例して増えることもなくなりました。新しいDAGはすぐに表示され、UIも再び快適に使えるようになりました。