Voltar para todos os casos de uso

CorreçãoMultissetorial

O scheduler está rodando, os DAGs estão ativos e nada entra na fila

Seguradora nacional

Restabelecimento do agendamento em implantações de Airflow em que tasks zumbis prendem slots do executor e dos pools até que nada novo entre na fila.

Visão geral

Quando o Airflow para de agendar, mas o processo do scheduler está saudável, a causa mais comum é que tasks marcadas como em execução já não têm um processo vivo por trás. Essas tasks prendem slots do executor e capacidade dos pools indefinidamente e, quando os slots se esgotam, nada novo entra na fila. A AceMQ elimina a condição e remove a causa.

Desafio

As tasks zumbis se acumulam a partir de pods de workers despejados no meio da execução, workers do Celery encerrados pelo OOM killer e partições de rede que interrompem o heartbeat sem atualizar o estado da task. O banco de metadados continua mostrando essas tasks como em execução, então o executor as conta contra o paralelismo e os slots dos pools. Enquanto isso, o tempo do loop do scheduler piora à medida que a tabela de task instances cresce, o que deixa a detecção ainda mais lenta. Reiniciar o scheduler não adianta, porque o estado obsoleto está no banco de dados.

Ambiente

Apache Airflow 2.x em Kubernetes ou em VMs, com Celery ou Kubernetes executor e banco de metadados em PostgreSQL ou MySQL.

Abordagem

A AceMQ identifica as task instances travadas e reconcilia o estado delas com os processos reais dos workers, liberando os slots presos para que o agendamento seja retomado. Em seguida, os limites de detecção de zumbis e os timeouts de heartbeat são alinhados aos tempos reais de execução das tasks, os limites de recursos dos workers são corrigidos onde o despejo de pods era o gatilho, e a manutenção do banco de metadados passa a ser agendada para que o tempo do loop do scheduler fique sob controle.

Solução

  1. Identificação e reconciliação das task instances travadas com os processos ativos dos workers, para liberar os slots do executor e dos pools
  2. Limite de detecção de zumbis e intervalo de heartbeat das tasks alinhados à duração real das tasks de longa execução
  3. Revisão dos limites de recursos e do despejo de workers nos casos em que o encerramento de pods é a origem das tasks órfãs
  4. Configuração de pools, parallelism, dag_concurrency e max_active_tasks corrigida de acordo com a capacidade real dos workers
  5. Manutenção do banco de metadados, incluindo limpeza das tabelas de task instances e de logs com uma política de retenção
  6. Alertas de saúde do scheduler baseados na idade das tasks na fila e na duração do loop do scheduler, para que o próximo travamento seja detectado em minutos

Resultado obtido

O agendamento é retomado imediatamente, e a combinação de timeouts corrigidos, dimensionamento dos workers e manutenção do banco de dados impede que os slots fiquem presos por tasks mortas. Travamentos que antes passavam despercebidos até faltar um relatório pela manhã agora geram alertas em minutos.

Tecnologias

Apache AirflowKubernetesCeleryPostgreSQL

Enfrentando um problema de produção com Apache Airflow?

Os engenheiros Apache Airflow sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.