Panoramica
Lo scheduler di Airflow rielabora di continuo i file DAG, e tutto ciò che è lento al livello top-level di un file DAG si paga a ogni parsing. Un solo file che interroga un database o chiama un'API durante l'import può portare il tempo totale di parsing oltre l'intervallo previsto e ritardare la schedulazione dell'intera installazione. AceMQ individua i file responsabili e corregge il pattern.
Sfida
I sintomi sono diffusi: i DAG partono con minuti di ritardo rispetto all'orario pianificato, la UI è lenta e i nuovi file DAG impiegano molto a comparire. Le cause comuni sono chiamate top-level a un variable backend o a un secrets manager, generazione dinamica di DAG che interroga un database durante l'import, import pesanti di librerie a livello di modulo e un gran numero di file con un intervallo di parsing breve. Preso singolarmente, ogni DAG sembra innocuo.
Ambiente
Installazioni Apache Airflow 2.x su Kubernetes o VM con da decine a migliaia di file DAG, compresi DAG generati dinamicamente.
Approccio
Gli ingegneri AceMQ leggono i tempi di parsing per file del DAG processor per ordinare i file in base al costo, il che di solito mostra che pochi file sono responsabili della maggior parte del totale. Quei file vengono corretti spostando il lavoro fuori dallo scope del modulo, dentro i callable dei task o in lookup differiti, e la configurazione del parsing viene poi ottimizzata sull'insieme di file corretto.
Soluzione
- Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di livello 1
- Analisi dei tempi di parsing per file dai log del DAG processor per ordinare i file in base al costo di import
- Rimozione delle chiamate top-level a Variable, Connection e secrets backend eseguite a ogni parsing
- Generazione dinamica dei DAG riscritta per usare metadati in cache o su file invece di una query al database durante l'import
- Tuning di min_file_process_interval, dei processi di parsing e di dag_dir_list_interval sul profilo di parsing corretto
- Applicazione di pattern di task mapping differito e dinamico dove la struttura dei DAG veniva espansa staticamente durante l'import
Esito
La latenza di schedulazione torna a pochi secondi e il tempo di parsing dei DAG smette di crescere con il numero di file DAG. I nuovi DAG compaiono subito e la UI torna utilizzabile.