Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Un solo archivo de DAG lento retrasa todos los DAGs del despliegue

Plataforma de retail digital

Corrección de los retrasos del scheduler causados por archivos de DAG que hacen llamadas de red o a la base de datos en tiempo de parseo y bloquean todos los DAGs del despliegue.

Descripción general

El scheduler de Airflow vuelve a parsear los archivos de DAG de forma continua, y cualquier cosa lenta en el nivel superior de un archivo de DAG se paga en cada parseo. Un solo archivo que consulta una base de datos o llama a una API durante la importación puede llevar el tiempo total de parseo por encima del intervalo y retrasar la programación en todo el despliegue. AceMQ encuentra los archivos responsables y corrige el patrón.

Desafío

Los síntomas son difusos: los DAGs arrancan minutos después de la hora programada, la interfaz es lenta y los nuevos archivos de DAG tardan mucho en aparecer. Las causas comunes son llamadas de nivel superior a un backend de variables o a un gestor de secretos, generación dinámica de DAGs que consulta una base de datos al importar, importaciones de librerías pesadas a nivel de módulo y una gran cantidad de archivos con un intervalo de parseo corto. Cada DAG, visto por separado, parece inofensivo.

Entorno

Despliegues de Apache Airflow 2.x en Kubernetes o en máquinas virtuales, con decenas a miles de archivos de DAG, incluidos DAGs generados dinámicamente.

Enfoque

Los ingenieros de AceMQ leen los tiempos de parseo por archivo del DAG processor para ordenar los archivos según su costo, lo que suele mostrar que unos pocos son responsables de la mayor parte del total. Esos archivos se corrigen sacando el trabajo del ámbito del módulo hacia los callables de las tareas o hacia búsquedas diferidas, y luego se ajusta la configuración de parseo sobre el conjunto de archivos ya corregido.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Análisis del tiempo de parseo por archivo a partir de los logs del DAG processor para ordenar los archivos según su costo de importación
  3. Eliminación de las llamadas de nivel superior a Variable, Connection y al backend de secretos que se ejecutan en cada parseo
  4. Reescritura de la generación dinámica de DAGs para usar metadatos en caché o en archivos en lugar de una consulta a la base de datos al importar
  5. Ajuste de min_file_process_interval, de los procesos de parseo y de dag_dir_list_interval según el perfil de parseo corregido
  6. Aplicación de patrones de dynamic task mapping y de ejecución diferida donde la estructura del DAG se expandía de forma estática al importar

Resultado final

La latencia de programación vuelve a ser de segundos y el tiempo de parseo de los DAGs deja de crecer con la cantidad de archivos de DAG. Los nuevos DAGs aparecen de inmediato y la interfaz vuelve a ser usable.

Tecnologías

Apache AirflowKubernetesPostgreSQL

¿Necesita soporte experto de Apache Airflow?

Los ingenieros sénior de Apache Airflow de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.