Visão geral
Os executores Celery e Kubernetes têm perfis de custo opostos. O Celery mantém workers sempre ativos, o que favorece muitas tarefas curtas e desperdiça capacidade com poucas tarefas longas; o Kubernetes cria um pod por tarefa, o que favorece tarefas longas e heterogêneas e acrescenta um overhead de inicialização considerável às curtas. A AceMQ mede o perfil das tarefas e desenha a solução de acordo com ele.
Desafio
Normalmente os deployments herdam a escolha de executor em vez de fazê-la. Deployments com Celery que executam milhares de tarefas curtas ficam em fila atrás de um pool fixo de workers; deployments com o executor Kubernetes que executam as mesmas tarefas pagam a inicialização de um pod em cada uma. A resolução de dependências entre tarefas, a persistência de logs e o tratamento de secrets são diferentes nos dois, então uma migração envolve muito mais do que a configuração do executor. Fazê-la sem um rollback validado coloca em risco toda a camada de orquestração.
Ambiente
Apache Airflow 2.x no Kubernetes, com uma combinação de tarefas curtas de orquestração e tarefas longas de processamento enviadas para Spark, Databricks ou dbt.
Abordagem
A AceMQ analisa a distribuição da duração, da concorrência e do consumo de recursos das tarefas em todo o deployment para determinar qual executor é o mais adequado e se uma divisão (executor Kubernetes com uma fila Celery para tarefas curtas de alta frequência) se justifica. Em seguida, a migração é feita em etapas, por grupo de DAGs, com os dois executores disponíveis, e o tratamento de logs, secrets e dependências é validado antes da virada.
Solução
- Análise da duração, da concorrência e do consumo de recursos das tarefas para avaliar a adequação do executor com base no comportamento medido
- Recomendação de executor, incluindo designs híbridos quando as classes de tarefas curtas e longas justificam filas separadas
- Design de templates de pod, requests de recursos e node selectors para as tarefas do executor Kubernetes, com ajustes por classe de tarefa
- Design de autoscaling de workers e roteamento de filas para deployments com Celery, dimensionados pela concorrência medida
- Persistência remota de logs, backend de secrets e pipeline de build de imagens alinhados ao executor de destino
- Migração em etapas por grupo de DAGs, com rollback e os dois executores rodando em paralelo até a validação de cada grupo
Resultado obtido
Os clientes passam a usar um executor adequado ao perfil das suas tarefas, com redução mensurável do tempo de espera em fila ou do overhead de inicialização dos pods, conforme o sentido da migração. Como a migração é feita em etapas, nenhuma virada coloca em risco toda a camada de orquestração.