Présentation
Les déploiements Airflow se dégradent progressivement. Le nombre de DAG augmente, les conventions d'écriture divergent d'une équipe à l'autre, la base de métadonnées n'est jamais entretenue, et la version accumule tant de retard que la mise à niveau devient un projet à part entière. AceMQ audite le déploiement et remet un plan de remédiation priorisé.
Défi
Ces problèmes sont rarement signalés comme des problèmes Airflow : ils se manifestent par des pipelines peu fiables et des livraisons lentes. En profondeur, les tâches ne sont pas idempotentes et les relances corrompent donc les données, les identifiants sont stockés dans des Variables plutôt que dans un backend de secrets, la base de métadonnées a gonflé jusqu'à des centaines de gigaoctets d'historique d'instances de tâches, des tâches sensor occupent des slots de workers pendant des heures, et le déploiement a plusieurs versions mineures de retard, sans qu'aucun chemin de mise à niveau n'ait été répété.
Environnement
Déploiements Apache Airflow 2.x sur Kubernetes, sur machines virtuelles ou en service managé, orchestrant des charges Spark, dbt, d'entrepôt de données et d'API externes.
Approche
AceMQ examine le déploiement selon quatre axes (infrastructure et configuration, pratiques d'écriture des DAG, sécurité et gestion des secrets, préparation aux mises à niveau) au regard de l'historique propre au déploiement plutôt que d'une liste de contrôle générique. Les constats sont classés selon le risque opérationnel qu'ils représentent et l'effort nécessaire pour y remédier.
Solution
- Revue de la configuration du scheduler, de l'executor et de la base de métadonnées au regard du volume mesuré de DAG et de tâches
- Audit des pratiques d'écriture des DAG dans toutes les équipes : idempotence, sécurité des relances, code de niveau supérieur et structure des dépendances
- Revue de la gestion des secrets et des connexions, y compris les identifiants stockés dans des Variables qui devraient se trouver dans un backend de secrets
- Évaluation de la croissance et de la maintenance de la base de métadonnées, avec des recommandations de rétention et d'archivage
- Revue de l'usage des sensors, avec conversion des sensors bloquants en opérateurs différables lorsque l'attente monopolise des slots de workers
- Analyse de l'actualité de la version et du chemin de mise à niveau, y compris la compatibilité des provider packages et un plan de mise à niveau répété
Résultat obtenu
Les clients obtiennent un backlog de remédiation priorisé couvrant la fiabilité, la sécurité et la préparation aux mises à niveau, dans lequel les éléments les plus risqués (généralement des tâches non idempotentes et des identifiants en clair dans des Variables) sont identifiés explicitement au lieu d'être noyés dans une recommandation générale.