Descripción general
Los executors de Celery y de Kubernetes tienen perfiles de coste opuestos. Celery mantiene workers en caliente, lo que conviene a muchas tareas cortas y desperdicia capacidad con pocas tareas largas; Kubernetes crea un pod por tarea, lo que conviene a tareas heterogéneas de larga duración y añade una sobrecarga de arranque considerable a las cortas. AceMQ mide el perfil de las tareas y diseña en consecuencia.
Reto
Lo habitual es que los despliegues hereden la elección del executor en lugar de tomarla. Los despliegues con Celery que ejecutan miles de tareas cortas se quedan en cola detrás de un pool fijo de workers; los despliegues con el executor de Kubernetes que ejecutan esas mismas tareas pagan el arranque de un pod en cada una. La resolución de dependencias entre tareas, la persistencia de logs y la gestión de secretos difieren entre ambos, así que una migración afecta a mucho más que al parámetro del executor. Hacerla sin una marcha atrás validada pone en riesgo toda la capa de orquestación.
Entorno
Apache Airflow 2.x sobre Kubernetes, con una mezcla de tareas de orquestación de corta duración y tareas de cómputo de larga duración enviadas a Spark, Databricks o dbt.
Enfoque
AceMQ perfila la distribución de la duración de las tareas, la concurrencia y el consumo de recursos en todo el despliegue para determinar qué executor encaja y si está justificado un esquema mixto: executor de Kubernetes con una cola de Celery para las tareas cortas de alta frecuencia. Después, la migración se escalona por grupos de DAG con ambos executors disponibles, y se valida la gestión de logs, secretos y dependencias antes del cambio definitivo.
Solución
- Perfilado de la duración de las tareas, la concurrencia y el consumo de recursos para determinar qué executor encaja según el comportamiento medido
- Recomendación de executor, incluidos diseños híbridos cuando las clases de tareas cortas y largas justifican colas separadas
- Diseño de pod templates, peticiones de recursos y node selectors para las tareas del executor de Kubernetes, con ajustes específicos por clase de tarea
- Diseño del autoescalado de workers y del enrutamiento de colas en despliegues con Celery, dimensionados según la concurrencia medida
- Persistencia remota de logs, backend de secretos y pipeline de construcción de imágenes alineados con el executor de destino
- Migración escalonada por grupos de DAG con marcha atrás, ejecutando ambos executors en paralelo hasta validar cada grupo
Resultado final
Los clientes terminan con un executor que encaja con el perfil de sus tareas y reducen de forma medible los tiempos de espera en cola o la sobrecarga de arranque de pods, según el sentido de la migración. Al ser escalonada, ningún cambio pone en riesgo toda la capa de orquestación.