Descripción general
Cuando Airflow deja de planificar pero el proceso del scheduler está sano, la causa habitual es que hay tareas marcadas como en ejecución que ya no tienen ningún proceso vivo detrás. Esas tareas retienen indefinidamente slots del executor y capacidad de los pools, y una vez agotados los slots no entra nada nuevo en la cola. AceMQ resuelve la situación y elimina la causa.
Reto
Las zombie tasks se acumulan por pods de workers desalojados a mitad de una tarea, workers de Celery eliminados por el OOM killer y particiones de red que cortan el heartbeat sin actualizar el estado de la tarea. La base de datos de metadatos sigue mostrándolas en ejecución, así que el executor las cuenta contra el paralelismo y los slots de los pools. Mientras tanto, el tiempo del bucle del scheduler empeora a medida que crece la tabla de task instances, lo que ralentiza todavía más la detección. Reiniciar el scheduler no sirve de nada, porque el estado obsoleto está en la base de datos.
Entorno
Apache Airflow 2.x en Kubernetes o en máquinas virtuales, con executors de Celery o de Kubernetes y una base de datos de metadatos PostgreSQL o MySQL.
Enfoque
AceMQ identifica las task instances atascadas y concilia su estado con los procesos reales de los workers, liberando los slots retenidos para que se reanude la planificación. Después se alinean los umbrales de detección de zombies y los timeouts de heartbeat con la duración real de las tareas, se corrigen los límites de recursos de los workers allí donde la eviction era el desencadenante y se programa el mantenimiento de la base de datos de metadatos para que el tiempo del bucle del scheduler se mantenga acotado.
Solución
- Identificación y conciliación de las task instances atascadas con los procesos vivos de los workers para liberar los slots del executor y de los pools
- Umbral de detección de zombies e intervalo de heartbeat de las tareas alineados con la duración real de las tareas largas
- Revisión de los límites de recursos de los workers y de la eviction cuando la terminación de pods es el origen de las tareas huérfanas
- Corrección de la configuración de pools, parallelism, dag_concurrency y max_active_tasks según la capacidad real de los workers
- Mantenimiento de la base de datos de metadatos, con limpieza de las tablas de task instances y de logs según una política de retención
- Alertas de salud del scheduler basadas en la antigüedad de las tareas encoladas y en la duración del bucle del scheduler, para detectar el próximo bloqueo en minutos
Resultado final
La planificación se reanuda de inmediato, y la combinación de timeouts corregidos, workers bien dimensionados y mantenimiento de la base de datos impide que las tareas muertas vuelvan a retener slots. Los bloqueos que antes pasaban desapercibidos hasta que faltaba un informe por la mañana generan ahora una alerta en cuestión de minutos.