Présentation
Le scheduler Airflow réanalyse en continu les fichiers DAG, et tout ce qui est lent au niveau supérieur d'un fichier DAG se paie à chaque parsing. Un seul fichier qui interroge une base de données ou appelle une API à l'import peut faire dépasser l'intervalle au temps de parsing total et retarder l'ordonnancement sur l'ensemble du déploiement. AceMQ repère les fichiers en cause et corrige le schéma de code problématique.
Défi
Les symptômes sont diffus : les DAG démarrent plusieurs minutes après l'heure prévue, l'interface est lente et les nouveaux fichiers DAG mettent longtemps à apparaître. Les causes habituelles sont des appels de niveau supérieur à un backend de variables ou à un gestionnaire de secrets, une génération dynamique de DAG qui interroge une base de données à l'import, des imports de bibliothèques lourdes au niveau du module, et un grand nombre de fichiers associé à un intervalle de parsing court. Pris isolément, chaque DAG paraît inoffensif.
Environnement
Déploiements Apache Airflow 2.x sur Kubernetes ou sur des VM, avec de quelques dizaines à plusieurs milliers de fichiers DAG, y compris des DAG générés dynamiquement.
Approche
Les ingénieurs AceMQ exploitent les temps de parsing par fichier du DAG processor pour classer les fichiers selon leur coût, ce qui fait généralement apparaître une poignée de fichiers responsables de l'essentiel du total. Ces fichiers sont corrigés en sortant le travail de la portée du module pour le déplacer dans les callables des tâches ou dans des lectures différées, puis la configuration du parsing est ajustée sur l'ensemble de fichiers corrigé.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans niveau 1 de tri
- Analyse des temps de parsing par fichier à partir des logs du DAG processor pour classer les fichiers selon leur coût d'import
- Suppression des appels de niveau supérieur à Variable, à Connection et au backend de secrets exécutés à chaque parsing
- Génération dynamique de DAG réécrite pour s'appuyer sur des métadonnées en cache ou stockées dans des fichiers plutôt que sur une requête en base à l'import
- Réglage de min_file_process_interval, du nombre de processus de parsing et de dag_dir_list_interval en fonction du profil de parsing corrigé
- Application des patterns de tâches différées et de dynamic task mapping là où la structure des DAG était déployée statiquement à l'import
Résultat obtenu
La latence d'ordonnancement redescend à quelques secondes, et le temps de parsing des DAG cesse d'augmenter avec le nombre de fichiers. Les nouveaux DAG apparaissent rapidement et l'interface redevient utilisable.