Retour à tous les cas d'usage

SupportLogiciels / plateformes numériques

Un seul fichier DAG lent retarde tous les DAG du déploiement

Plateforme de commerce en ligne

Résorber les retards du scheduler causés par des fichiers DAG qui effectuent des appels réseau ou base de données au moment du parsing, bloquant tous les DAG du déploiement.

Présentation

Le scheduler Airflow réanalyse en continu les fichiers DAG, et tout ce qui est lent au niveau supérieur d'un fichier DAG se paie à chaque parsing. Un seul fichier qui interroge une base de données ou appelle une API à l'import peut faire dépasser l'intervalle au temps de parsing total et retarder l'ordonnancement sur l'ensemble du déploiement. AceMQ repère les fichiers en cause et corrige le schéma de code problématique.

Défi

Les symptômes sont diffus : les DAG démarrent plusieurs minutes après l'heure prévue, l'interface est lente et les nouveaux fichiers DAG mettent longtemps à apparaître. Les causes habituelles sont des appels de niveau supérieur à un backend de variables ou à un gestionnaire de secrets, une génération dynamique de DAG qui interroge une base de données à l'import, des imports de bibliothèques lourdes au niveau du module, et un grand nombre de fichiers associé à un intervalle de parsing court. Pris isolément, chaque DAG paraît inoffensif.

Environnement

Déploiements Apache Airflow 2.x sur Kubernetes ou sur des VM, avec de quelques dizaines à plusieurs milliers de fichiers DAG, y compris des DAG générés dynamiquement.

Approche

Les ingénieurs AceMQ exploitent les temps de parsing par fichier du DAG processor pour classer les fichiers selon leur coût, ce qui fait généralement apparaître une poignée de fichiers responsables de l'essentiel du total. Ces fichiers sont corrigés en sortant le travail de la portée du module pour le déplacer dans les callables des tâches ou dans des lectures différées, puis la configuration du parsing est ajustée sur l'ensemble de fichiers corrigé.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans niveau 1 de tri
  2. Analyse des temps de parsing par fichier à partir des logs du DAG processor pour classer les fichiers selon leur coût d'import
  3. Suppression des appels de niveau supérieur à Variable, à Connection et au backend de secrets exécutés à chaque parsing
  4. Génération dynamique de DAG réécrite pour s'appuyer sur des métadonnées en cache ou stockées dans des fichiers plutôt que sur une requête en base à l'import
  5. Réglage de min_file_process_interval, du nombre de processus de parsing et de dag_dir_list_interval en fonction du profil de parsing corrigé
  6. Application des patterns de tâches différées et de dynamic task mapping là où la structure des DAG était déployée statiquement à l'import

Résultat obtenu

La latence d'ordonnancement redescend à quelques secondes, et le temps de parsing des DAG cesse d'augmenter avec le nombre de fichiers. Les nouveaux DAG apparaissent rapidement et l'interface redevient utilisable.

Technologies

Apache AirflowKubernetesPostgreSQL

Besoin d'un support Apache Airflow expert ?

Les ingénieurs Apache Airflow seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.