Volver a todos los casos de uso

RemediaciónMultisectorial

El scheduler está en marcha, los DAG no están en pausa y no se encola nada

Aseguradora de ámbito nacional

Recuperación de la planificación en despliegues de Airflow en los que las zombie tasks retienen slots del executor y de los pools hasta que ya no se encola nada nuevo.

Descripción general

Cuando Airflow deja de planificar pero el proceso del scheduler está sano, la causa habitual es que hay tareas marcadas como en ejecución que ya no tienen ningún proceso vivo detrás. Esas tareas retienen indefinidamente slots del executor y capacidad de los pools, y una vez agotados los slots no entra nada nuevo en la cola. AceMQ resuelve la situación y elimina la causa.

Reto

Las zombie tasks se acumulan por pods de workers desalojados a mitad de una tarea, workers de Celery eliminados por el OOM killer y particiones de red que cortan el heartbeat sin actualizar el estado de la tarea. La base de datos de metadatos sigue mostrándolas en ejecución, así que el executor las cuenta contra el paralelismo y los slots de los pools. Mientras tanto, el tiempo del bucle del scheduler empeora a medida que crece la tabla de task instances, lo que ralentiza todavía más la detección. Reiniciar el scheduler no sirve de nada, porque el estado obsoleto está en la base de datos.

Entorno

Apache Airflow 2.x en Kubernetes o en máquinas virtuales, con executors de Celery o de Kubernetes y una base de datos de metadatos PostgreSQL o MySQL.

Enfoque

AceMQ identifica las task instances atascadas y concilia su estado con los procesos reales de los workers, liberando los slots retenidos para que se reanude la planificación. Después se alinean los umbrales de detección de zombies y los timeouts de heartbeat con la duración real de las tareas, se corrigen los límites de recursos de los workers allí donde la eviction era el desencadenante y se programa el mantenimiento de la base de datos de metadatos para que el tiempo del bucle del scheduler se mantenga acotado.

Solución

  1. Identificación y conciliación de las task instances atascadas con los procesos vivos de los workers para liberar los slots del executor y de los pools
  2. Umbral de detección de zombies e intervalo de heartbeat de las tareas alineados con la duración real de las tareas largas
  3. Revisión de los límites de recursos de los workers y de la eviction cuando la terminación de pods es el origen de las tareas huérfanas
  4. Corrección de la configuración de pools, parallelism, dag_concurrency y max_active_tasks según la capacidad real de los workers
  5. Mantenimiento de la base de datos de metadatos, con limpieza de las tablas de task instances y de logs según una política de retención
  6. Alertas de salud del scheduler basadas en la antigüedad de las tareas encoladas y en la duración del bucle del scheduler, para detectar el próximo bloqueo en minutos

Resultado final

La planificación se reanuda de inmediato, y la combinación de timeouts corregidos, workers bien dimensionados y mantenimiento de la base de datos impide que las tareas muertas vuelvan a retener slots. Los bloqueos que antes pasaban desapercibidos hasta que faltaba un informe por la mañana generan ahora una alerta en cuestión de minutos.

Tecnologías

Apache AirflowKubernetesCeleryPostgreSQL

¿Se enfrenta a un problema de Apache Airflow en producción?

Los ingenieros sénior de Apache Airflow de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.