Voltar para todos os casos de uso

SuporteSoftware / plataformas digitais

Um único arquivo de DAG lento atrasa todos os DAGs da implantação

Plataforma de varejo digital

Correção do atraso do scheduler causado por arquivos de DAG que fazem chamadas de rede ou de banco de dados no momento do parsing, travando todos os DAGs da implantação.

Visão geral

O scheduler do Airflow refaz o parsing dos arquivos de DAG continuamente, e qualquer coisa lenta no nível do módulo de um arquivo de DAG é paga a cada parsing. Um único arquivo que consulta um banco de dados ou chama uma API durante o import pode levar o tempo total de parsing além do intervalo e atrasar o agendamento em toda a implantação. A AceMQ encontra os arquivos problemáticos e corrige o padrão.

Desafio

Os sintomas são difusos: os DAGs começam minutos depois do horário agendado, a UI fica lenta e os novos arquivos de DAG demoram para aparecer. As causas comuns são chamadas no nível do módulo a um variable backend ou a um gerenciador de secrets, geração dinâmica de DAGs que consulta um banco de dados no import, imports de bibliotecas pesadas no nível do módulo e uma grande quantidade de arquivos com um intervalo de parsing curto. Cada DAG, isoladamente, parece inofensivo.

Ambiente

Implantações de Apache Airflow 2.x em Kubernetes ou em VMs, com de dezenas a milhares de arquivos de DAG, incluindo DAGs gerados dinamicamente.

Abordagem

Os engenheiros da AceMQ leem o tempo de parsing por arquivo do DAG processor para classificar os arquivos por custo, o que normalmente mostra que um punhado deles responde pela maior parte do total. Esses arquivos são corrigidos tirando o trabalho do escopo do módulo e levando-o para os callables das tasks ou para consultas adiadas, e depois a configuração de parsing é ajustada com base no conjunto de arquivos já corrigido.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem nível 1
  2. Análise do tempo de parsing por arquivo a partir dos logs do DAG processor, para classificar os arquivos pelo custo de import
  3. Remoção de chamadas a Variable, Connection e secrets backend no nível do módulo, que rodam a cada parsing
  4. Geração dinâmica de DAGs reescrita para usar metadados em cache ou em arquivo, em vez de uma consulta ao banco de dados no import
  5. min_file_process_interval, processos de parsing e dag_dir_list_interval ajustados com base no perfil de parsing corrigido
  6. Padrões de deferred tasks e de dynamic task mapping aplicados onde a estrutura do DAG era expandida estaticamente no import

Resultado obtido

A latência de agendamento volta para segundos, e o tempo de parsing dos DAGs deixa de crescer com a quantidade de arquivos de DAG. Os novos DAGs aparecem rapidamente, e a UI volta a ser utilizável.

Tecnologias

Apache AirflowKubernetesPostgreSQL

Precisa de suporte especializado em Apache Airflow?

Os engenheiros Apache Airflow sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.