Descripción general
El scheduler de Airflow vuelve a parsear los ficheros de DAG de forma continua, y cualquier cosa lenta en el nivel superior de un fichero de DAG se paga en cada parseo. Un único fichero que consulta una base de datos o llama a una API durante la importación puede hacer que el tiempo total de parseo supere el intervalo y retrasar la programación en todo el despliegue. AceMQ localiza los ficheros problemáticos y corrige el patrón.
Reto
Los síntomas son difusos: los DAG arrancan minutos después de su hora programada, la interfaz va lenta y los nuevos ficheros de DAG tardan mucho en aparecer. Las causas habituales son llamadas de nivel superior a un backend de variables o a un gestor de secretos, la generación dinámica de DAG que consulta una base de datos durante la importación, importaciones de bibliotecas pesadas a nivel de módulo y un gran número de ficheros con un intervalo de parseo corto. Cada DAG, por separado, parece inofensivo.
Entorno
Despliegues de Apache Airflow 2.x en Kubernetes o en máquinas virtuales con entre decenas y miles de ficheros de DAG, incluidos DAG generados dinámicamente.
Enfoque
Los ingenieros de AceMQ leen los tiempos de parseo por fichero del DAG processor para ordenar los ficheros por coste, lo que normalmente revela que unos pocos son responsables de la mayor parte del total. Esos ficheros se corrigen sacando el trabajo del ámbito del módulo hacia los callables de las tareas o hacia consultas diferidas, y después se ajusta la configuración de parseo con el conjunto de ficheros ya corregido.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Análisis de los tiempos de parseo por fichero a partir de los logs del DAG processor para ordenar los ficheros por coste de importación
- Eliminación de las llamadas de nivel superior a Variable, Connection y al backend de secretos que se ejecutan en cada parseo
- Reescritura de la generación dinámica de DAG para usar metadatos en caché o basados en ficheros en lugar de una consulta a la base de datos durante la importación
- Ajuste de min_file_process_interval, de los procesos de parseo y de dag_dir_list_interval según el perfil de parseo corregido
- Aplicación de patrones de dynamic task mapping y de ejecución diferida donde la estructura del DAG se expandía de forma estática durante la importación
Resultado final
La latencia de programación vuelve a ser de segundos y el tiempo de parseo de los DAG deja de crecer con el número de ficheros de DAG. Los nuevos DAG aparecen enseguida y la interfaz vuelve a ser utilizable.