Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Un solo fichero de DAG lento retrasa todos los DAG del despliegue

Plataforma de comercio minorista digital

Corrección del retraso del scheduler provocado por ficheros de DAG que hacen llamadas de red o a bases de datos durante el parseo y bloquean todos los DAG del despliegue.

Descripción general

El scheduler de Airflow vuelve a parsear los ficheros de DAG de forma continua, y cualquier cosa lenta en el nivel superior de un fichero de DAG se paga en cada parseo. Un único fichero que consulta una base de datos o llama a una API durante la importación puede hacer que el tiempo total de parseo supere el intervalo y retrasar la programación en todo el despliegue. AceMQ localiza los ficheros problemáticos y corrige el patrón.

Reto

Los síntomas son difusos: los DAG arrancan minutos después de su hora programada, la interfaz va lenta y los nuevos ficheros de DAG tardan mucho en aparecer. Las causas habituales son llamadas de nivel superior a un backend de variables o a un gestor de secretos, la generación dinámica de DAG que consulta una base de datos durante la importación, importaciones de bibliotecas pesadas a nivel de módulo y un gran número de ficheros con un intervalo de parseo corto. Cada DAG, por separado, parece inofensivo.

Entorno

Despliegues de Apache Airflow 2.x en Kubernetes o en máquinas virtuales con entre decenas y miles de ficheros de DAG, incluidos DAG generados dinámicamente.

Enfoque

Los ingenieros de AceMQ leen los tiempos de parseo por fichero del DAG processor para ordenar los ficheros por coste, lo que normalmente revela que unos pocos son responsables de la mayor parte del total. Esos ficheros se corrigen sacando el trabajo del ámbito del módulo hacia los callables de las tareas o hacia consultas diferidas, y después se ajusta la configuración de parseo con el conjunto de ficheros ya corregido.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Análisis de los tiempos de parseo por fichero a partir de los logs del DAG processor para ordenar los ficheros por coste de importación
  3. Eliminación de las llamadas de nivel superior a Variable, Connection y al backend de secretos que se ejecutan en cada parseo
  4. Reescritura de la generación dinámica de DAG para usar metadatos en caché o basados en ficheros en lugar de una consulta a la base de datos durante la importación
  5. Ajuste de min_file_process_interval, de los procesos de parseo y de dag_dir_list_interval según el perfil de parseo corregido
  6. Aplicación de patrones de dynamic task mapping y de ejecución diferida donde la estructura del DAG se expandía de forma estática durante la importación

Resultado final

La latencia de programación vuelve a ser de segundos y el tiempo de parseo de los DAG deja de crecer con el número de ficheros de DAG. Los nuevos DAG aparecen enseguida y la interfaz vuelve a ser utilizable.

Tecnologías

Apache AirflowKubernetesPostgreSQL

¿Necesita soporte experto de Apache Airflow?

Los ingenieros sénior de Apache Airflow de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.