Visão geral
Os deployments do Airflow se degradam aos poucos. A quantidade de DAGs cresce, as convenções de criação divergem entre as equipes, o banco de metadados nunca recebe manutenção e a versão fica tão defasada que o upgrade vira um projeto à parte. A AceMQ avalia o deployment e entrega um plano de correção priorizado.
Desafio
Os problemas raramente são reportados como problemas do Airflow: eles aparecem como pipelines pouco confiáveis e entregas lentas. Por trás disso, as tarefas não são idempotentes, então os retries corrompem dados; as credenciais ficam armazenadas em Variables em vez de um backend de secrets; o banco de metadados acumulou centenas de gigabytes de histórico de task instances; tarefas sensor ocupam slots de workers por horas; e o deployment está várias versões minor atrás, sem nenhum caminho de upgrade ensaiado.
Ambiente
Deployments do Apache Airflow 2.x no Kubernetes, em VMs ou em serviços gerenciados, orquestrando cargas de Spark, dbt, data warehouse e APIs externas.
Abordagem
A AceMQ revisa o deployment em quatro eixos (infraestrutura e configuração, práticas de criação de DAGs, segurança e tratamento de secrets, e prontidão para upgrade) com base no próprio histórico do deployment, e não em um checklist genérico. Os achados são classificados pelo risco operacional que representam e pelo esforço necessário para resolvê-los.
Solução
- Revisão da configuração do scheduler, do executor e do banco de metadados em relação ao volume medido de DAGs e tarefas
- Auditoria da criação de DAGs abrangendo idempotência, segurança nos retries, código de nível superior e estrutura de dependências entre as equipes
- Revisão do tratamento de secrets e conexões, incluindo credenciais armazenadas em Variables que deveriam estar em um backend de secrets
- Avaliação do crescimento e da manutenção do banco de metadados, com recomendações de retenção e arquivamento
- Revisão do uso de sensors, convertendo sensors bloqueantes em deferrable operators quando slots de workers estão sendo consumidos apenas com espera
- Análise da defasagem de versão e do caminho de upgrade, incluindo a compatibilidade dos provider packages e um plano de upgrade ensaiado
Resultado obtido
Os clientes recebem um backlog de correções priorizado que abrange confiabilidade, segurança e prontidão para upgrade, com os itens de maior risco (geralmente tarefas não idempotentes e credenciais em Variables em texto puro) identificados explicitamente, em vez de diluídos em uma recomendação genérica.