Überblick
Der Airflow-Scheduler parst DAG-Dateien fortlaufend neu, und alles, was auf oberster Ebene einer DAG-Datei langsam ist, kostet bei jedem Parse-Durchlauf Zeit. Eine einzige Datei, die beim Import eine Datenbank abfragt oder eine API aufruft, kann die gesamte Parse-Zeit über das Intervall hinaustreiben und das Scheduling im ganzen Deployment verzögern. AceMQ findet die verantwortlichen Dateien und behebt das Muster.
Herausforderung
Die Symptome sind diffus: DAGs starten Minuten nach ihrem geplanten Zeitpunkt, die UI ist langsam, und neue DAG-Dateien brauchen lange, bis sie erscheinen. Typische Ursachen sind Aufrufe eines Variable Backend oder Secrets Manager auf oberster Ebene, dynamische DAG-Generierung, die beim Import eine Datenbank abfragt, schwere Bibliotheksimporte auf Modulebene und eine große Zahl von Dateien bei kurzem Parse-Intervall. Jeder einzelne DAG wirkt für sich genommen harmlos.
Umgebung
Deployments von Apache Airflow 2.x auf Kubernetes oder VMs mit Dutzenden bis Tausenden DAG-Dateien, einschließlich dynamisch generierter DAGs.
Vorgehen
Die Engineers von AceMQ werten die Parse-Zeiten pro Datei aus dem DAG Processor aus, um die Dateien nach Kosten zu ordnen – meist zeigt sich, dass eine Handvoll für den Großteil der Gesamtzeit verantwortlich ist. Diese Dateien werden korrigiert, indem Arbeit aus dem Modul-Scope in Task-Callables oder verzögerte Lookups verlagert wird; anschließend wird die Parsing-Konfiguration auf den bereinigten Dateibestand abgestimmt.
Lösung
- Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
- Analyse der Parse-Zeiten pro Datei aus den Logs des DAG Processor, um Dateien nach Importkosten zu ordnen
- Entfernen von Variable-, Connection- und Secrets-Backend-Aufrufen auf oberster Ebene, die bei jedem Parse-Durchlauf ausgeführt werden
- Dynamische DAG-Generierung umgeschrieben auf gecachte oder dateibasierte Metadaten statt einer Datenbankabfrage beim Import
- min_file_process_interval, Parsing-Prozesse und dag_dir_list_interval auf das bereinigte Parse-Profil abgestimmt
- Deferred-Muster und Dynamic Task Mapping dort eingesetzt, wo die DAG-Struktur beim Import statisch aufgefächert wurde
Resultat
Die Scheduling-Latenz sinkt wieder auf Sekunden, und die DAG-Parse-Zeit wächst nicht mehr mit der Zahl der DAG-Dateien. Neue DAGs erscheinen zügig, und die UI ist wieder benutzbar.