Voltar para todos os casos de uso

ConsultoriaSaúde / benefícios

Escolha o executor que combina com o perfil das suas tarefas, não o do tutorial

Empresa de análise de dados de saúde

Migração do executor Celery para o executor Kubernetes, ou no sentido inverso, com um modelo de dimensionamento e um design de deployment adequados ao perfil da carga de trabalho.

Visão geral

Os executores Celery e Kubernetes têm perfis de custo opostos. O Celery mantém workers sempre ativos, o que favorece muitas tarefas curtas e desperdiça capacidade com poucas tarefas longas; o Kubernetes cria um pod por tarefa, o que favorece tarefas longas e heterogêneas e acrescenta um overhead de inicialização considerável às curtas. A AceMQ mede o perfil das tarefas e desenha a solução de acordo com ele.

Desafio

Normalmente os deployments herdam a escolha de executor em vez de fazê-la. Deployments com Celery que executam milhares de tarefas curtas ficam em fila atrás de um pool fixo de workers; deployments com o executor Kubernetes que executam as mesmas tarefas pagam a inicialização de um pod em cada uma. A resolução de dependências entre tarefas, a persistência de logs e o tratamento de secrets são diferentes nos dois, então uma migração envolve muito mais do que a configuração do executor. Fazê-la sem um rollback validado coloca em risco toda a camada de orquestração.

Ambiente

Apache Airflow 2.x no Kubernetes, com uma combinação de tarefas curtas de orquestração e tarefas longas de processamento enviadas para Spark, Databricks ou dbt.

Abordagem

A AceMQ analisa a distribuição da duração, da concorrência e do consumo de recursos das tarefas em todo o deployment para determinar qual executor é o mais adequado e se uma divisão (executor Kubernetes com uma fila Celery para tarefas curtas de alta frequência) se justifica. Em seguida, a migração é feita em etapas, por grupo de DAGs, com os dois executores disponíveis, e o tratamento de logs, secrets e dependências é validado antes da virada.

Solução

  1. Análise da duração, da concorrência e do consumo de recursos das tarefas para avaliar a adequação do executor com base no comportamento medido
  2. Recomendação de executor, incluindo designs híbridos quando as classes de tarefas curtas e longas justificam filas separadas
  3. Design de templates de pod, requests de recursos e node selectors para as tarefas do executor Kubernetes, com ajustes por classe de tarefa
  4. Design de autoscaling de workers e roteamento de filas para deployments com Celery, dimensionados pela concorrência medida
  5. Persistência remota de logs, backend de secrets e pipeline de build de imagens alinhados ao executor de destino
  6. Migração em etapas por grupo de DAGs, com rollback e os dois executores rodando em paralelo até a validação de cada grupo

Resultado obtido

Os clientes passam a usar um executor adequado ao perfil das suas tarefas, com redução mensurável do tempo de espera em fila ou do overhead de inicialização dos pods, conforme o sentido da migração. Como a migração é feita em etapas, nenhuma virada coloca em risco toda a camada de orquestração.

Tecnologias

Apache AirflowKubernetesCeleryApache Spark

Precisa de orientação de arquitetura para Apache Airflow?

Os engenheiros Apache Airflow sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.