Volver a todos los casos de uso

ConsultoríaSanidad / Beneficios sociales

Elija el executor que encaja con el perfil de sus tareas, no el del tutorial

Proveedor de analítica sanitaria

Migración del executor de Celery al de Kubernetes, o a la inversa, con un modelo de dimensionamiento y un diseño de despliegue ajustados al perfil de la carga de trabajo.

Descripción general

Los executors de Celery y de Kubernetes tienen perfiles de coste opuestos. Celery mantiene workers en caliente, lo que conviene a muchas tareas cortas y desperdicia capacidad con pocas tareas largas; Kubernetes crea un pod por tarea, lo que conviene a tareas heterogéneas de larga duración y añade una sobrecarga de arranque considerable a las cortas. AceMQ mide el perfil de las tareas y diseña en consecuencia.

Reto

Lo habitual es que los despliegues hereden la elección del executor en lugar de tomarla. Los despliegues con Celery que ejecutan miles de tareas cortas se quedan en cola detrás de un pool fijo de workers; los despliegues con el executor de Kubernetes que ejecutan esas mismas tareas pagan el arranque de un pod en cada una. La resolución de dependencias entre tareas, la persistencia de logs y la gestión de secretos difieren entre ambos, así que una migración afecta a mucho más que al parámetro del executor. Hacerla sin una marcha atrás validada pone en riesgo toda la capa de orquestación.

Entorno

Apache Airflow 2.x sobre Kubernetes, con una mezcla de tareas de orquestación de corta duración y tareas de cómputo de larga duración enviadas a Spark, Databricks o dbt.

Enfoque

AceMQ perfila la distribución de la duración de las tareas, la concurrencia y el consumo de recursos en todo el despliegue para determinar qué executor encaja y si está justificado un esquema mixto: executor de Kubernetes con una cola de Celery para las tareas cortas de alta frecuencia. Después, la migración se escalona por grupos de DAG con ambos executors disponibles, y se valida la gestión de logs, secretos y dependencias antes del cambio definitivo.

Solución

  1. Perfilado de la duración de las tareas, la concurrencia y el consumo de recursos para determinar qué executor encaja según el comportamiento medido
  2. Recomendación de executor, incluidos diseños híbridos cuando las clases de tareas cortas y largas justifican colas separadas
  3. Diseño de pod templates, peticiones de recursos y node selectors para las tareas del executor de Kubernetes, con ajustes específicos por clase de tarea
  4. Diseño del autoescalado de workers y del enrutamiento de colas en despliegues con Celery, dimensionados según la concurrencia medida
  5. Persistencia remota de logs, backend de secretos y pipeline de construcción de imágenes alineados con el executor de destino
  6. Migración escalonada por grupos de DAG con marcha atrás, ejecutando ambos executors en paralelo hasta validar cada grupo

Resultado final

Los clientes terminan con un executor que encaja con el perfil de sus tareas y reducen de forma medible los tiempos de espera en cola o la sobrecarga de arranque de pods, según el sentido de la migración. Al ser escalonada, ningún cambio pone en riesgo toda la capa de orquestación.

Tecnologías

Apache AirflowKubernetesCeleryApache Spark

¿Necesita asesoramiento de arquitectura para Apache Airflow?

Los ingenieros sénior de Apache Airflow de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.