Visão geral
O scheduler do Airflow volta a fazer o parsing dos ficheiros de DAGs continuamente, e tudo o que for lento ao nível de topo de um ficheiro de DAG é pago em cada parsing. Um único ficheiro que consulte uma base de dados ou chame uma API durante a importação pode levar o tempo total de parsing para lá do intervalo e atrasar o agendamento em toda a implementação. A AceMQ encontra os ficheiros responsáveis e corrige o padrão.
Desafio
Os sintomas são difusos: os DAGs arrancam minutos depois da hora agendada, a interface fica lenta e os novos ficheiros de DAGs demoram muito a aparecer. As causas comuns são chamadas ao nível de topo a um backend de variáveis ou a um gestor de segredos, geração dinâmica de DAGs que consulta uma base de dados durante a importação, importações de bibliotecas pesadas ao nível do módulo e um grande número de ficheiros com um intervalo de parsing curto. Cada DAG, isoladamente, parece inofensivo.
Ambiente
Implementações Apache Airflow 2.x em Kubernetes ou em máquinas virtuais, com dezenas a milhares de ficheiros de DAGs, incluindo DAGs gerados dinamicamente.
Abordagem
Os engenheiros da AceMQ leem os tempos de parsing por ficheiro registados pelo DAG processor para ordenar os ficheiros por custo, o que normalmente revela meia dúzia de ficheiros responsáveis pela maior parte do total. Esses ficheiros são corrigidos passando o trabalho do âmbito do módulo para os callables das tarefas ou para consultas diferidas, e a configuração do parsing é depois afinada face ao conjunto de ficheiros corrigido.
Solução
- Objetivos de resposta a partir de 15 minutos, consoante o plano, com engenheiros seniores designados, 24/7, sem triagem de nível 1
- Análise dos tempos de parsing por ficheiro a partir dos logs do DAG processor, para ordenar os ficheiros pelo custo de importação
- Remoção das chamadas a Variable, Connection e ao backend de segredos ao nível de topo, que são executadas em cada parsing
- Geração dinâmica de DAGs reescrita para usar metadados em cache ou em ficheiro, em vez de uma query à base de dados durante a importação
- min_file_process_interval, processos de parsing e dag_dir_list_interval afinados face ao perfil de parsing corrigido
- Padrões de deferred e de dynamic task mapping aplicados onde a estrutura do DAG era expandida estaticamente durante a importação
Resultado final
A latência de agendamento volta a ser de segundos e o tempo de parsing dos DAGs deixa de crescer com o número de ficheiros de DAGs. Os novos DAGs aparecem rapidamente e a interface volta a ser utilizável.