Descripción general
Cuando Airflow deja de programar tareas pero el proceso del scheduler está sano, la causa habitual es que hay tareas marcadas como en ejecución que ya no tienen un proceso vivo detrás. Esas tareas retienen indefinidamente los slots del executor y la capacidad de los pools, y cuando los slots se agotan ya no entra nada nuevo a la cola. AceMQ resuelve la condición y elimina la causa.
Desafío
Las tareas zombie se acumulan por pods de workers desalojados a mitad de una tarea, workers de Celery terminados por el OOM killer y particiones de red que cortan el heartbeat sin actualizar el estado de la tarea. La base de datos de metadatos sigue mostrándolas en ejecución, así que el executor las cuenta contra el paralelismo y los slots de los pools. Mientras tanto, el tiempo del ciclo del scheduler se degrada a medida que crece la tabla de instancias de tareas, lo que vuelve aún más lenta la detección. Reiniciar el scheduler no sirve, porque el estado obsoleto está en la base de datos.
Entorno
Apache Airflow 2.x en Kubernetes o en VM con executors de Celery o de Kubernetes y una base de datos de metadatos en PostgreSQL o MySQL.
Enfoque
AceMQ identifica las instancias de tareas atascadas y concilia su estado con los procesos reales de los workers, liberando los slots retenidos para que se reanude la programación. Luego, los umbrales de detección de zombies y los timeouts de heartbeat se alinean con la duración real de las tareas, se corrigen los límites de recursos de los workers cuando el desalojo fue el disparador y se programa el mantenimiento de la base de datos de metadatos para que el tiempo del ciclo del scheduler se mantenga acotado.
Solución
- Identificación y conciliación de las instancias de tareas atascadas con los procesos vivos de los workers para liberar los slots del executor y de los pools
- Umbral de detección de zombies e intervalo de heartbeat de las tareas alineados con la duración real de las tareas de larga ejecución
- Revisión de los límites de recursos y del desalojo de los workers cuando la terminación de pods es el origen de las tareas huérfanas
- Corrección de la configuración de pools, parallelism, dag_concurrency y max_active_tasks según la capacidad real de los workers
- Mantenimiento de la base de datos de metadatos, incluida la limpieza de las tablas de instancias de tareas y de logs con una política de retención
- Alertas de salud del scheduler sobre la antigüedad de las tareas en cola y la duración del ciclo del scheduler, para detectar el próximo bloqueo en minutos
Resultado final
La programación se reanuda de inmediato, y la combinación de timeouts corregidos, dimensionamiento de los workers y mantenimiento de la base de datos evita que las tareas muertas retengan slots. Los bloqueos que antes pasaban inadvertidos hasta que faltaba un reporte por la mañana ahora generan una alerta en minutos.