Volver a todos los casos de uso

EvaluaciónSoftware / Plataformas digitales

Descubra qué jobs de Spark justifican su cómputo y cuáles no

Proveedor de streaming de medios

Perfilado de un parque de Spark para encontrar jobs sobreaprovisionados, pipelines redundantes y cargas de trabajo que estarían mejor atendidas por algo distinto de Spark.

Descripción general

Los parques de Spark crecen por acumulación. Los jobs se copian, las solicitudes de recursos se inflan una vez para cumplir un plazo y nunca se revisan, y los pipelines sobreviven a los reportes que alimentaban. AceMQ perfila todo el parque y entrega una lista priorizada de qué corregir, qué consolidar y qué eliminar.

Desafío

Nadie tiene una visión completa de qué jobs se ejecutan, cuánto cuestan y quién consume su salida. La cantidad de executors y la configuración de memoria se eligieron de forma defensiva en lugar de medirse. Varios pipelines calculan casi el mismo agregado a partir de la misma fuente. Una fracción importante de los jobs procesa volúmenes tan pequeños que el overhead de Spark supera el trabajo en sí, y se ejecutarían más rápido como un proceso de un solo nodo.

Entorno

Apache Spark sobre Kubernetes, EMR, Dataproc o Databricks, con jobs orquestados por Airflow o un scheduler nativo.

Enfoque

AceMQ recopila los event logs y el historial del scheduler de todo el parque para construir perfiles por job de tiempo de ejecución, asignación de recursos y utilización. Los recursos asignados se comparan con el uso máximo observado para encontrar sobreaprovisionamiento, y se rastrea el linaje de las salidas para encontrar pipelines cuyos consumidores ya no existen. Cada hallazgo incluye una acción recomendada concreta, no una observación general.

Solución

  1. Inventario de jobs de todo el parque con tiempo de ejecución, recursos asignados, utilización máxima y costo por ejecución
  2. Análisis de sobreaprovisionamiento que compara la memoria y los cores solicitados para los executors con el uso máximo medido
  3. Detección de pipelines duplicados y casi duplicados a través del linaje de fuentes y salidas
  4. Identificación de jobs de bajo volumen en los que el overhead de Spark supera el trabajo y un motor de un solo nodo es más rápido y económico
  5. Detección de pipelines huérfanos cuya salida ya no leen los consumidores downstream
  6. Backlog de corrección priorizado según el costo ahorrado frente al esfuerzo de ingeniería requerido

Resultado final

Los clientes obtienen un backlog concreto y ordenado, no un reporte general de eficiencia. La mayoría de los parques contienen suficiente trabajo sobreaprovisionado y huérfano como para reducir sustancialmente el gasto en cómputo antes de reescribir un solo job.

Tecnologías

Apache SparkDatabricksDelta LakeKubernetes

¿Listo para un health check de Apache Spark?

Los ingenieros sénior de Apache Spark de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.