Überblick
Wenn Airflow nicht mehr plant, der Scheduler-Prozess aber gesund ist, liegt es meist daran, dass als laufend markierte Tasks keinen lebenden Prozess mehr hinter sich haben. Diese Tasks halten Executor-Slots und Pool-Kapazität auf unbestimmte Zeit, und sobald die Slots erschöpft sind, gelangt nichts Neues mehr in die Queue. AceMQ löst den Zustand auf und beseitigt die Ursache.
Herausforderung
Zombie-Tasks sammeln sich an durch Worker-Pods, die mitten im Task verdrängt werden, durch Celery-Worker, die der OOM Killer beendet, und durch Netzwerkpartitionen, die den Heartbeat unterbrechen, ohne den Task-Status zu aktualisieren. Die Metadatenbank zeigt sie weiterhin als laufend an, also rechnet der Executor sie auf Parallelität und Pool-Slots an. Gleichzeitig verlängert sich die Dauer der Scheduler-Schleife, je größer die Task-Instance-Tabelle wird, was die Erkennung weiter verlangsamt. Ein Neustart des Schedulers hilft nicht, weil der veraltete Zustand in der Datenbank steckt.
Umgebung
Apache Airflow 2.x auf Kubernetes oder VMs mit Celery- oder Kubernetes-Executor und einer Metadatenbank auf PostgreSQL oder MySQL.
Vorgehen
AceMQ identifiziert die hängenden Task-Instanzen und gleicht ihren Status mit den tatsächlichen Worker-Prozessen ab. Dadurch werden die blockierten Slots frei, und das Scheduling läuft wieder an. Anschließend werden Schwellenwerte für die Zombie-Erkennung und Heartbeat-Timeouts an die realen Task-Laufzeiten angepasst, Ressourcenlimits der Worker korrigiert, wo Evictions der Auslöser waren, und die Wartung der Metadatenbank wird eingeplant, damit die Dauer der Scheduler-Schleife begrenzt bleibt.
Lösung
- Identifikation hängender Task-Instanzen und Abgleich mit laufenden Worker-Prozessen, um Executor- und Pool-Slots freizugeben
- Schwellenwert der Zombie-Erkennung und Heartbeat-Intervall der Tasks an die tatsächliche Dauer lang laufender Tasks angepasst
- Review von Ressourcenlimits und Evictions der Worker, wo das Beenden von Pods verwaiste Tasks verursacht
- Konfiguration von Pool, parallelism, dag_concurrency und max_active_tasks passend zur tatsächlichen Worker-Kapazität korrigiert
- Wartung der Metadatenbank einschließlich Bereinigung der Task-Instance- und Log-Tabellen mit Aufbewahrungsrichtlinie
- Alerting zur Scheduler-Gesundheit auf Basis des Alters eingereihter Tasks und der Dauer der Scheduler-Schleife, damit der nächste Stillstand innerhalb von Minuten erkannt wird
Resultat
Das Scheduling läuft sofort wieder an, und die Kombination aus korrigierten Timeouts, passender Worker-Dimensionierung und Datenbankwartung verhindert, dass tote Tasks Slots blockieren. Stillstände, die früher erst auffielen, wenn morgens ein Report fehlte, lösen jetzt innerhalb von Minuten einen Alert aus.