Visão geral
Quando o Airflow para de agendar, mas o processo do scheduler está saudável, a causa mais comum é que tasks marcadas como em execução já não têm um processo vivo por trás. Essas tasks prendem slots do executor e capacidade dos pools indefinidamente e, quando os slots se esgotam, nada novo entra na fila. A AceMQ elimina a condição e remove a causa.
Desafio
As tasks zumbis se acumulam a partir de pods de workers despejados no meio da execução, workers do Celery encerrados pelo OOM killer e partições de rede que interrompem o heartbeat sem atualizar o estado da task. O banco de metadados continua mostrando essas tasks como em execução, então o executor as conta contra o paralelismo e os slots dos pools. Enquanto isso, o tempo do loop do scheduler piora à medida que a tabela de task instances cresce, o que deixa a detecção ainda mais lenta. Reiniciar o scheduler não adianta, porque o estado obsoleto está no banco de dados.
Ambiente
Apache Airflow 2.x em Kubernetes ou em VMs, com Celery ou Kubernetes executor e banco de metadados em PostgreSQL ou MySQL.
Abordagem
A AceMQ identifica as task instances travadas e reconcilia o estado delas com os processos reais dos workers, liberando os slots presos para que o agendamento seja retomado. Em seguida, os limites de detecção de zumbis e os timeouts de heartbeat são alinhados aos tempos reais de execução das tasks, os limites de recursos dos workers são corrigidos onde o despejo de pods era o gatilho, e a manutenção do banco de metadados passa a ser agendada para que o tempo do loop do scheduler fique sob controle.
Solução
- Identificação e reconciliação das task instances travadas com os processos ativos dos workers, para liberar os slots do executor e dos pools
- Limite de detecção de zumbis e intervalo de heartbeat das tasks alinhados à duração real das tasks de longa execução
- Revisão dos limites de recursos e do despejo de workers nos casos em que o encerramento de pods é a origem das tasks órfãs
- Configuração de pools, parallelism, dag_concurrency e max_active_tasks corrigida de acordo com a capacidade real dos workers
- Manutenção do banco de metadados, incluindo limpeza das tabelas de task instances e de logs com uma política de retenção
- Alertas de saúde do scheduler baseados na idade das tasks na fila e na duração do loop do scheduler, para que o próximo travamento seja detectado em minutos
Resultado obtido
O agendamento é retomado imediatamente, e a combinação de timeouts corrigidos, dimensionamento dos workers e manutenção do banco de dados impede que os slots fiquem presos por tasks mortas. Travamentos que antes passavam despercebidos até faltar um relatório pela manhã agora geram alertas em minutos.