Visão geral
O scheduler do Airflow refaz o parsing dos arquivos de DAG continuamente, e qualquer coisa lenta no nível do módulo de um arquivo de DAG é paga a cada parsing. Um único arquivo que consulta um banco de dados ou chama uma API durante o import pode levar o tempo total de parsing além do intervalo e atrasar o agendamento em toda a implantação. A AceMQ encontra os arquivos problemáticos e corrige o padrão.
Desafio
Os sintomas são difusos: os DAGs começam minutos depois do horário agendado, a UI fica lenta e os novos arquivos de DAG demoram para aparecer. As causas comuns são chamadas no nível do módulo a um variable backend ou a um gerenciador de secrets, geração dinâmica de DAGs que consulta um banco de dados no import, imports de bibliotecas pesadas no nível do módulo e uma grande quantidade de arquivos com um intervalo de parsing curto. Cada DAG, isoladamente, parece inofensivo.
Ambiente
Implantações de Apache Airflow 2.x em Kubernetes ou em VMs, com de dezenas a milhares de arquivos de DAG, incluindo DAGs gerados dinamicamente.
Abordagem
Os engenheiros da AceMQ leem o tempo de parsing por arquivo do DAG processor para classificar os arquivos por custo, o que normalmente mostra que um punhado deles responde pela maior parte do total. Esses arquivos são corrigidos tirando o trabalho do escopo do módulo e levando-o para os callables das tasks ou para consultas adiadas, e depois a configuração de parsing é ajustada com base no conjunto de arquivos já corrigido.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem nível 1
- Análise do tempo de parsing por arquivo a partir dos logs do DAG processor, para classificar os arquivos pelo custo de import
- Remoção de chamadas a Variable, Connection e secrets backend no nível do módulo, que rodam a cada parsing
- Geração dinâmica de DAGs reescrita para usar metadados em cache ou em arquivo, em vez de uma consulta ao banco de dados no import
- min_file_process_interval, processos de parsing e dag_dir_list_interval ajustados com base no perfil de parsing corrigido
- Padrões de deferred tasks e de dynamic task mapping aplicados onde a estrutura do DAG era expandida estaticamente no import
Resultado obtido
A latência de agendamento volta para segundos, e o tempo de parsing dos DAGs deixa de crescer com a quantidade de arquivos de DAG. Os novos DAGs aparecem rapidamente, e a UI volta a ser utilizável.