概要
Airflow環境は少しずつ劣化していきます。DAGの数は増え、チームごとに作成の慣習がばらばらになり、メタデータデータベースは一度もメンテナンスされず、バージョンは大きく遅れてアップグレード自体が1つのプロジェクトになってしまいます。AceMQは環境をアセスメントし、優先順位をつけた改善計画を提示します。
課題
これらの問題がAirflowの問題として報告されることはまれで、不安定なパイプラインや遅い開発サイクルとして表面化します。その裏では、タスクが冪等でないためリトライでデータが壊れる、認証情報がシークレットバックエンドではなくVariablesに保存されている、メタデータデータベースがタスクインスタンスの履歴で数百GBに膨らんでいる、センサータスクが何時間もワーカーのスロットを占有している、バージョンが複数のマイナーバージョン遅れているのにアップグレードの手順が一度もリハーサルされていない、といったことが起きています。
環境
Kubernetes、VM、またはマネージドサービス上のApache Airflow 2.x環境。Spark、dbt、データウェアハウス、外部APIのワークロードをオーケストレーション。
アプローチ
AceMQは、インフラと設定、DAG作成の手法、セキュリティとシークレットの扱い、アップグレードへの備えという4つの観点から、汎用的なチェックリストではなくその環境自体の履歴に照らして環境をレビューします。指摘事項は、伴う運用上のリスクと、解消に必要な工数に基づいて順位付けします。
ソリューション
- スケジューラー、エグゼキューター、メタデータデータベースの設定を、実測したDAGとタスクの量に照らしてレビュー
- チームを横断して、冪等性、リトライの安全性、トップレベルのコード、依存関係の構造を確認するDAG作成の監査
- シークレットバックエンドに置くべき認証情報がVariablesに保存されている箇所を含む、シークレットと接続情報の扱いのレビュー
- 保持とアーカイブに関する推奨事項を含めた、メタデータデータベースの増加とメンテナンスの評価
- センサーの使用状況をレビューし、待機のためにワーカーのスロットが消費されている箇所では、ブロッキングするセンサーをdeferrableオペレーターに変更
- プロバイダーパッケージの互換性とリハーサル済みのアップグレード計画を含む、バージョンの鮮度とアップグレードパスの分析
結果
お客様は、信頼性、セキュリティ、アップグレードへの備えを網羅した、順位付きの改善バックログを手にします。最もリスクの高い項目は、たいてい冪等でないタスクと平文のVariablesに保存された認証情報であり、それらは一般的な推奨事項に埋もれさせることなく明確に指摘されます。