Volver a todos los casos de uso

ConsultoríaSalud / Beneficios

Elija el executor que corresponde a su perfil de tareas, no el del tutorial

Proveedor de analítica de salud

Migración del executor de Celery al de Kubernetes, o a la inversa, con un modelo de dimensionamiento y un diseño de despliegue acordes con el perfil de la carga de trabajo.

Descripción general

Los executors de Celery y de Kubernetes tienen perfiles de costo opuestos. Celery mantiene workers en caliente, lo que conviene para muchas tareas cortas y desperdicia capacidad con pocas tareas largas; Kubernetes crea un pod por tarea, lo que conviene para tareas heterogéneas de larga duración y agrega un overhead de arranque considerable a las cortas. AceMQ mide el perfil de tareas y diseña en consecuencia.

Desafío

Por lo general, los despliegues heredan la elección del executor en lugar de tomar esa decisión. Los despliegues con Celery que ejecutan miles de tareas cortas quedan en cola detrás de un pool fijo de workers; los que usan el executor de Kubernetes para esas mismas tareas pagan el arranque de un pod en cada una. La resolución de dependencias entre tareas, la persistencia de logs y el manejo de secretos difieren entre ambos, así que una migración afecta mucho más que el parámetro del executor. Hacerla sin un rollback validado pone en riesgo toda la capa de orquestación.

Entorno

Apache Airflow 2.x en Kubernetes, con una mezcla de tareas de orquestación de corta duración y tareas de cómputo de larga duración enviadas a Spark, Databricks o dbt.

Enfoque

AceMQ perfila la distribución de la duración, la concurrencia y la huella de recursos de las tareas en todo el despliegue para determinar qué executor encaja y si se justifica una división, es decir, el executor de Kubernetes con una cola de Celery para las tareas cortas de alta frecuencia. Luego la migración se hace por etapas, por grupos de DAGs, con ambos executors disponibles, y se valida el manejo de logs, secretos y dependencias antes del corte.

Solución

  1. Perfilado de la duración, la concurrencia y la huella de recursos de las tareas para determinar qué executor encaja según el comportamiento medido
  2. Recomendación de executor que incluye diseños híbridos cuando las clases de tareas cortas y largas justifican colas separadas
  3. Diseño de pod templates, resource requests y node selectors para las tareas del executor de Kubernetes, con overrides por clase de tarea
  4. Diseño del autoescalado de workers y del enrutamiento de colas para los despliegues con Celery, dimensionado según la concurrencia medida
  5. Persistencia remota de logs, backend de secretos y pipeline de construcción de imágenes alineados con el executor de destino
  6. Migración por etapas, por grupos de DAGs, con rollback y ambos executors funcionando en paralelo hasta validar cada grupo

Resultado final

Los clientes terminan con un executor acorde con su perfil de tareas, con una reducción medible de los tiempos de espera en cola o del overhead de arranque de los pods, según la dirección de la migración. Gracias a la migración por etapas, ningún corte pone en riesgo toda la capa de orquestación.

Tecnologías

Apache AirflowKubernetesCeleryApache Spark

¿Necesita orientación de arquitectura para Apache Airflow?

Los ingenieros sénior de Apache Airflow de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.