Retour à tous les cas d'usage

RemédiationMultisectoriel

Le scheduler tourne, les DAG sont réactivés, et rien n'est mis en file d'attente

Compagnie d'assurance nationale

Rétablir l'ordonnancement sur des déploiements Airflow où des tâches zombies monopolisent les slots de l'executor et les pools jusqu'à ce que plus rien ne soit mis en file d'attente.

Présentation

Quand Airflow cesse d'ordonnancer alors que le processus du scheduler est sain, la cause habituelle est que des tâches marquées en cours d'exécution n'ont plus de processus actif derrière elles. Ces tâches occupent indéfiniment des slots de l'executor et de la capacité de pool, et une fois les slots épuisés, plus rien n'entre dans la file d'attente. AceMQ débloque la situation et en supprime la cause.

Défi

Les tâches zombies s'accumulent à cause de pods workers évincés en pleine tâche, de workers Celery tués par l'OOM killer et de partitions réseau qui coupent le heartbeat sans mettre à jour l'état des tâches. La base de métadonnées les montre toujours en cours d'exécution, si bien que l'executor les décompte du parallélisme et des slots de pool. Dans le même temps, la durée de la boucle du scheduler se dégrade à mesure que la table des task instances grossit, ce qui ralentit encore la détection. Redémarrer le scheduler ne sert à rien, car l'état obsolète se trouve dans la base de données.

Environnement

Apache Airflow 2.x sur Kubernetes ou sur des VM, avec des executors Celery ou Kubernetes et une base de métadonnées PostgreSQL ou MySQL.

Approche

AceMQ identifie les task instances bloquées et rapproche leur état des processus workers réellement actifs, ce qui libère les slots occupés et permet à l'ordonnancement de reprendre. Les seuils de détection des zombies et les timeouts de heartbeat sont ensuite alignés sur les durées réelles des tâches, les limites de ressources des workers sont corrigées là où l'éviction était le déclencheur, et la maintenance de la base de métadonnées est planifiée pour que la durée de la boucle du scheduler reste maîtrisée.

Solution

  1. Identification et rapprochement des task instances bloquées avec les processus workers actifs pour libérer les slots de l'executor et des pools
  2. Seuil de détection des zombies et intervalle de heartbeat des tâches alignés sur la durée réelle des tâches longues
  3. Revue des limites de ressources et de l'éviction des workers là où l'arrêt des pods est à l'origine des tâches orphelines
  4. Configuration des pools, de parallelism, de dag_concurrency et de max_active_tasks corrigée au regard de la capacité réelle des workers
  5. Maintenance de la base de métadonnées, avec nettoyage des tables de task instances et de logs selon une politique de rétention
  6. Alertes de santé du scheduler sur l'ancienneté des tâches en file d'attente et la durée de la boucle du scheduler, pour détecter le prochain blocage en quelques minutes

Résultat obtenu

L'ordonnancement reprend immédiatement, et la combinaison des timeouts corrigés, du dimensionnement des workers et de la maintenance de la base empêche les tâches mortes de monopoliser les slots. Des blocages qui passaient inaperçus jusqu'à ce qu'un rapport manque le matin déclenchent désormais une alerte en quelques minutes.

Technologies

Apache AirflowKubernetesCeleryPostgreSQL

Confronté à un incident de production Apache Airflow ?

Les ingénieurs Apache Airflow seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.