Retour à tous les cas d'usage

ConseilSanté / prévoyance

Choisissez l'executor adapté au profil de vos tâches, pas celui du tutoriel

Fournisseur d'analytique de santé

Passage de l'executor Celery à l'executor Kubernetes, ou l'inverse, avec un modèle de dimensionnement et une architecture de déploiement adaptés au profil de la charge.

Présentation

Les executors Celery et Kubernetes ont des profils de coût opposés. Celery maintient des workers prêts en permanence, ce qui convient aux nombreuses tâches courtes mais gaspille de la capacité sur quelques tâches longues ; Kubernetes crée un pod par tâche, ce qui convient aux tâches longues et hétérogènes mais ajoute un temps de démarrage non négligeable aux tâches courtes. AceMQ mesure le profil des tâches et conçoit l'architecture en conséquence.

Défi

La plupart des déploiements héritent d'un choix d'executor plutôt que de le faire. Les déploiements Celery qui exécutent des milliers de tâches courtes s'accumulent en file d'attente derrière un pool de workers fixe ; les déploiements sous executor Kubernetes qui exécutent les mêmes tâches paient le démarrage d'un pod à chaque fois. La résolution des dépendances entre tâches, la persistance des logs et la gestion des secrets diffèrent toutes entre les deux : une migration touche donc bien plus que le paramètre d'executor. La mener sans retour arrière validé met en péril toute la couche d'orchestration.

Environnement

Apache Airflow 2.x sur Kubernetes, avec un mélange de tâches d'orchestration courtes et de tâches de calcul longues soumises à Spark, Databricks ou dbt.

Approche

AceMQ établit le profil de la durée des tâches, de la concurrence et de la répartition de l'empreinte en ressources sur l'ensemble du déploiement, afin de déterminer l'executor adapté et de juger si une architecture mixte (executor Kubernetes avec une file d'attente Celery pour les tâches courtes à haute fréquence) se justifie. La migration est ensuite échelonnée par groupe de DAG, les deux executors restant disponibles, et la gestion des logs, des secrets et des dépendances est validée avant la bascule.

Solution

  1. Profilage de la durée des tâches, de la concurrence et de l'empreinte en ressources pour choisir l'executor à partir du comportement mesuré
  2. Recommandation d'executor, y compris des architectures hybrides lorsque les classes de tâches courtes et longues justifient des files d'attente séparées
  3. Conception des pod templates, des requêtes de ressources et des sélecteurs de nœuds pour les tâches sous executor Kubernetes, avec des surcharges par classe de tâches
  4. Conception de l'autoscaling des workers et du routage des files d'attente pour les déploiements Celery, dimensionnés selon la concurrence mesurée
  5. Persistance distante des logs, backend de secrets et pipeline de construction des images alignés sur l'executor cible
  6. Migration échelonnée par groupe de DAG avec retour arrière, les deux executors fonctionnant en parallèle jusqu'à la validation de chaque groupe

Résultat obtenu

Les clients aboutissent à un executor adapté au profil de leurs tâches, avec une réduction mesurable du temps d'attente en file ou du temps de démarrage des pods, selon le sens de la migration. Grâce à la migration échelonnée, aucune bascule ne met en danger l'ensemble de la couche d'orchestration.

Technologies

Apache AirflowKubernetesCeleryApache Spark

Besoin de conseils en architecture Apache Airflow ?

Les ingénieurs Apache Airflow seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.