Zurück zu allen Kundenbeispielen

SupportSoftware / Digitale Plattformen

Eine einzige langsame DAG-Datei verzögert jeden DAG im Deployment

Digitale Handelsplattform

Behebung von Scheduler-Verzögerungen durch DAG-Dateien, die beim Parsen Netzwerk- oder Datenbankaufrufe ausführen und damit jeden DAG im Deployment ausbremsen.

Überblick

Der Airflow-Scheduler parst DAG-Dateien fortlaufend neu, und alles, was auf oberster Ebene einer DAG-Datei langsam ist, kostet bei jedem Parse-Durchlauf Zeit. Eine einzige Datei, die beim Import eine Datenbank abfragt oder eine API aufruft, kann die gesamte Parse-Zeit über das Intervall hinaustreiben und das Scheduling im ganzen Deployment verzögern. AceMQ findet die verantwortlichen Dateien und behebt das Muster.

Herausforderung

Die Symptome sind diffus: DAGs starten Minuten nach ihrem geplanten Zeitpunkt, die UI ist langsam, und neue DAG-Dateien brauchen lange, bis sie erscheinen. Typische Ursachen sind Aufrufe eines Variable Backend oder Secrets Manager auf oberster Ebene, dynamische DAG-Generierung, die beim Import eine Datenbank abfragt, schwere Bibliotheksimporte auf Modulebene und eine große Zahl von Dateien bei kurzem Parse-Intervall. Jeder einzelne DAG wirkt für sich genommen harmlos.

Umgebung

Deployments von Apache Airflow 2.x auf Kubernetes oder VMs mit Dutzenden bis Tausenden DAG-Dateien, einschließlich dynamisch generierter DAGs.

Vorgehen

Die Engineers von AceMQ werten die Parse-Zeiten pro Datei aus dem DAG Processor aus, um die Dateien nach Kosten zu ordnen – meist zeigt sich, dass eine Handvoll für den Großteil der Gesamtzeit verantwortlich ist. Diese Dateien werden korrigiert, indem Arbeit aus dem Modul-Scope in Task-Callables oder verzögerte Lookups verlagert wird; anschließend wird die Parsing-Konfiguration auf den bereinigten Dateibestand abgestimmt.

Lösung

  1. Reaktionszeitziele ab 15 Minuten, je nach Plan, mit namentlich zugeordneten Senior Engineers, 24/7, ohne Tier-1-Triage
  2. Analyse der Parse-Zeiten pro Datei aus den Logs des DAG Processor, um Dateien nach Importkosten zu ordnen
  3. Entfernen von Variable-, Connection- und Secrets-Backend-Aufrufen auf oberster Ebene, die bei jedem Parse-Durchlauf ausgeführt werden
  4. Dynamische DAG-Generierung umgeschrieben auf gecachte oder dateibasierte Metadaten statt einer Datenbankabfrage beim Import
  5. min_file_process_interval, Parsing-Prozesse und dag_dir_list_interval auf das bereinigte Parse-Profil abgestimmt
  6. Deferred-Muster und Dynamic Task Mapping dort eingesetzt, wo die DAG-Struktur beim Import statisch aufgefächert wurde

Resultat

Die Scheduling-Latenz sinkt wieder auf Sekunden, und die DAG-Parse-Zeit wächst nicht mehr mit der Zahl der DAG-Dateien. Neue DAGs erscheinen zügig, und die UI ist wieder benutzbar.

Technologien

Apache AirflowKubernetesPostgreSQL

Brauchen Sie Expertensupport für Apache Airflow?

Die Senior Engineers von AceMQ für Apache Airflow haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.