Voltar para todos os casos de uso

AvaliaçãoEnergia / serviços públicos

Uma avaliação honesta sobre se o seu deployment do Airflow vai aguentar a próxima fase de crescimento

Operadora regional de serviços públicos

Revisão de um deployment do Airflow quanto à confiabilidade, às práticas de criação de DAGs, ao tratamento de secrets e à prontidão para upgrade, antes que ele se torne impossível de manter.

Visão geral

Os deployments do Airflow se degradam aos poucos. A quantidade de DAGs cresce, as convenções de criação divergem entre as equipes, o banco de metadados nunca recebe manutenção e a versão fica tão defasada que o upgrade vira um projeto à parte. A AceMQ avalia o deployment e entrega um plano de correção priorizado.

Desafio

Os problemas raramente são reportados como problemas do Airflow: eles aparecem como pipelines pouco confiáveis e entregas lentas. Por trás disso, as tarefas não são idempotentes, então os retries corrompem dados; as credenciais ficam armazenadas em Variables em vez de um backend de secrets; o banco de metadados acumulou centenas de gigabytes de histórico de task instances; tarefas sensor ocupam slots de workers por horas; e o deployment está várias versões minor atrás, sem nenhum caminho de upgrade ensaiado.

Ambiente

Deployments do Apache Airflow 2.x no Kubernetes, em VMs ou em serviços gerenciados, orquestrando cargas de Spark, dbt, data warehouse e APIs externas.

Abordagem

A AceMQ revisa o deployment em quatro eixos (infraestrutura e configuração, práticas de criação de DAGs, segurança e tratamento de secrets, e prontidão para upgrade) com base no próprio histórico do deployment, e não em um checklist genérico. Os achados são classificados pelo risco operacional que representam e pelo esforço necessário para resolvê-los.

Solução

  1. Revisão da configuração do scheduler, do executor e do banco de metadados em relação ao volume medido de DAGs e tarefas
  2. Auditoria da criação de DAGs abrangendo idempotência, segurança nos retries, código de nível superior e estrutura de dependências entre as equipes
  3. Revisão do tratamento de secrets e conexões, incluindo credenciais armazenadas em Variables que deveriam estar em um backend de secrets
  4. Avaliação do crescimento e da manutenção do banco de metadados, com recomendações de retenção e arquivamento
  5. Revisão do uso de sensors, convertendo sensors bloqueantes em deferrable operators quando slots de workers estão sendo consumidos apenas com espera
  6. Análise da defasagem de versão e do caminho de upgrade, incluindo a compatibilidade dos provider packages e um plano de upgrade ensaiado

Resultado obtido

Os clientes recebem um backlog de correções priorizado que abrange confiabilidade, segurança e prontidão para upgrade, com os itens de maior risco (geralmente tarefas não idempotentes e credenciais em Variables em texto puro) identificados explicitamente, em vez de diluídos em uma recomendação genérica.

Tecnologias

Apache AirflowKubernetesPostgreSQLApache Spark

Pronto para um health check do Apache Airflow?

Os engenheiros Apache Airflow sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.