Volver a todos los casos de uso

EvaluaciónSoftware / Plataformas digitales

Averiguar qué jobs de Spark justifican su cómputo y cuáles no

Proveedor de streaming multimedia

Análisis de un entorno de Spark para localizar jobs sobredimensionados, pipelines redundantes y cargas de trabajo que estarían mejor resueltas con algo distinto de Spark.

Descripción general

Los entornos de Spark crecen por acumulación. Los jobs se copian, las solicitudes de recursos se inflan una vez para cumplir un plazo y nunca se revisan, y los pipelines sobreviven a los informes que alimentaban. AceMQ analiza todo el entorno y entrega una lista priorizada de lo que hay que corregir, lo que hay que consolidar y lo que hay que eliminar.

Reto

Nadie tiene una visión completa de qué jobs se ejecutan, cuánto cuestan y quién consume su salida. El número de executors y los ajustes de memoria se eligieron por precaución y no a partir de mediciones. Varios pipelines calculan casi el mismo agregado a partir de la misma fuente. Una parte significativa de los jobs procesa volúmenes tan pequeños que la sobrecarga de Spark supera el propio trabajo, y se ejecutarían más rápido como un proceso en un solo nodo.

Entorno

Apache Spark en Kubernetes, EMR, Dataproc o Databricks, con jobs orquestados por Airflow o por un planificador nativo.

Enfoque

AceMQ recopila los logs de eventos y el historial del planificador de todo el entorno para construir perfiles de tiempo de ejecución, asignación de recursos y utilización de cada job. Los recursos asignados se comparan con el uso máximo observado para detectar el sobredimensionamiento, y se traza el linaje de las salidas para encontrar pipelines cuyos consumidores ya no existen. Cada hallazgo incluye una acción recomendada concreta, no una observación genérica.

Solución

  1. Inventario de jobs de todo el entorno con tiempo de ejecución, recursos asignados, utilización máxima y coste por ejecución
  2. Análisis del sobredimensionamiento comparando la memoria y los cores de executor solicitados con el uso máximo medido
  3. Detección de pipelines duplicados y casi duplicados a través del linaje de fuentes y salidas
  4. Identificación de jobs de poco volumen en los que la sobrecarga de Spark supera el trabajo y un motor de un solo nodo resulta más rápido y barato
  5. Detección de pipelines huérfanos cuya salida ya no leen los consumidores aguas abajo
  6. Backlog de correcciones priorizado según el ahorro de costes frente al esfuerzo de ingeniería necesario

Resultado final

Los clientes obtienen un backlog concreto y ordenado en lugar de un informe genérico de eficiencia. La mayoría de los entornos contienen suficiente trabajo sobredimensionado y huérfano como para reducir de forma considerable el gasto en cómputo antes de reescribir un solo job.

Tecnologías

Apache SparkDatabricksDelta LakeKubernetes

¿Preparado para un health check de Apache Spark?

Los ingenieros sénior de Apache Spark de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.