Descripción general
Los executors de Celery y de Kubernetes tienen perfiles de costo opuestos. Celery mantiene workers en caliente, lo que conviene para muchas tareas cortas y desperdicia capacidad con pocas tareas largas; Kubernetes crea un pod por tarea, lo que conviene para tareas heterogéneas de larga duración y agrega un overhead de arranque considerable a las cortas. AceMQ mide el perfil de tareas y diseña en consecuencia.
Desafío
Por lo general, los despliegues heredan la elección del executor en lugar de tomar esa decisión. Los despliegues con Celery que ejecutan miles de tareas cortas quedan en cola detrás de un pool fijo de workers; los que usan el executor de Kubernetes para esas mismas tareas pagan el arranque de un pod en cada una. La resolución de dependencias entre tareas, la persistencia de logs y el manejo de secretos difieren entre ambos, así que una migración afecta mucho más que el parámetro del executor. Hacerla sin un rollback validado pone en riesgo toda la capa de orquestación.
Entorno
Apache Airflow 2.x en Kubernetes, con una mezcla de tareas de orquestación de corta duración y tareas de cómputo de larga duración enviadas a Spark, Databricks o dbt.
Enfoque
AceMQ perfila la distribución de la duración, la concurrencia y la huella de recursos de las tareas en todo el despliegue para determinar qué executor encaja y si se justifica una división, es decir, el executor de Kubernetes con una cola de Celery para las tareas cortas de alta frecuencia. Luego la migración se hace por etapas, por grupos de DAGs, con ambos executors disponibles, y se valida el manejo de logs, secretos y dependencias antes del corte.
Solución
- Perfilado de la duración, la concurrencia y la huella de recursos de las tareas para determinar qué executor encaja según el comportamiento medido
- Recomendación de executor que incluye diseños híbridos cuando las clases de tareas cortas y largas justifican colas separadas
- Diseño de pod templates, resource requests y node selectors para las tareas del executor de Kubernetes, con overrides por clase de tarea
- Diseño del autoescalado de workers y del enrutamiento de colas para los despliegues con Celery, dimensionado según la concurrencia medida
- Persistencia remota de logs, backend de secretos y pipeline de construcción de imágenes alineados con el executor de destino
- Migración por etapas, por grupos de DAGs, con rollback y ambos executors funcionando en paralelo hasta validar cada grupo
Resultado final
Los clientes terminan con un executor acorde con su perfil de tareas, con una reducción medible de los tiempos de espera en cola o del overhead de arranque de los pods, según la dirección de la migración. Gracias a la migración por etapas, ningún corte pone en riesgo toda la capa de orquestación.