Volver a todos los casos de uso

RemediaciónTelecomunicaciones

Cuando 199 tareas terminan en un minuto y una tarda una hora, el problema es el sesgo

Operador de telecomunicaciones

Corrección de jobs nocturnos en los que un puñado de claves sesgadas concentra los datos en unos pocos executors y provoca fallos repetidos por falta de memoria.

Descripción general

Un OOM en un executor de Spark suele ser un síntoma, y la causa de fondo es a menudo que un pequeño número de claves de join o de agrupación concentra una parte desproporcionada de las filas. AceMQ diagnostica el sesgo directamente, en lugar de ir subiendo la memoria de los executors hasta que el job deje de caerse.

Reto

El patrón habitual es un join sobre una columna en la que un valor nulo de relleno o un ID de tenant predeterminado representa una gran fracción de las filas. Todas esas filas van por hash a la misma partición, un executor intenta retenerlas y muere. Los equipos reaccionan subiendo spark.executor.memory, lo que retrasa el fallo y encarece el clúster sin resolver nada. Mientras tanto, el tiempo de ejecución de la etapa lo marca su tarea más lenta, así que la ventana del job no deja de crecer.

Entorno

Apache Spark sobre YARN, Kubernetes o Databricks, con ETL por lotes sobre tablas Hive, Delta o Iceberg.

Enfoque

AceMQ analiza el detalle de las etapas en la Spark UI y los event logs para comparar el tamaño de entrada por tarea y la distribución de la lectura del shuffle, lo que hace visible el sesgo de inmediato. La corrección se elige según los datos: Adaptive Query Execution cuando la versión lo admite, salting para las claves calientes persistentes, filtrado de las filas con clave nula fuera de la ruta del join o un broadcast cuando el lado de dimensiones es realmente pequeño.

Solución

  1. Análisis de la distribución de la entrada y de la lectura del shuffle por tarea a partir de los event logs para identificar y cuantificar las claves sesgadas
  2. Activación de Adaptive Query Execution con umbrales de skew join y de fusión de particiones ajustados a la distribución observada
  3. Salting de las claves calientes persistentes, con la reescritura correspondiente de la agregación
  4. Eliminación de la ruta del join de las claves nulas y centinela cuando esas filas no tienen significado de negocio
  5. Corrección del dimensionamiento de la memoria, el número de núcleos y el memory overhead de los executors una vez corregida la distribución, no antes
  6. Revisión del número de particiones y de la ubicación de los repartition para evitar shuffles completos innecesarios

Resultado final

Los jobs nocturnos que fallaban de forma intermitente por OOM terminan de forma fiable, y los tiempos de las etapas se igualan porque ninguna tarea carga sola con toda la partición. La asignación de memoria del clúster suele bajar en lugar de subir.

Tecnologías

Apache SparkApache HadoopDelta LakeYARN

¿Se enfrenta a un problema de Apache Spark en producción?

Los ingenieros sénior de Apache Spark de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.