Volver a todos los casos de uso

RemediaciónTelecomunicaciones

Cuando 199 tasks terminan en un minuto y una tarda una hora, el problema es el skew

Operador de telecomunicaciones

Corrección de jobs nocturnos en los que unas pocas claves con skew concentran los datos en pocos executors y provocan fallas repetidas por falta de memoria.

Descripción general

Un OOM de executor en Spark suele ser un síntoma, y la causa de fondo muchas veces es que una pequeña cantidad de claves de join o de agrupación concentra una porción desproporcionada de las filas. AceMQ diagnostica el skew directamente en lugar de seguir aumentando la memoria de los executors hasta que el job deje de caerse.

Desafío

El patrón habitual es un join sobre una columna en la que un valor nulo de relleno o un ID de tenant predeterminado representa una gran fracción de las filas. Todas esas filas caen por hash en la misma partición, un solo executor intenta retenerlas y muere. Los equipos responden aumentando spark.executor.memory, lo que retrasa la falla y eleva el costo del clúster sin resolver nada. Mientras tanto, el tiempo de ejecución del stage está limitado por su task más lenta, así que la ventana del job sigue creciendo.

Entorno

Apache Spark sobre YARN, Kubernetes o Databricks, con ETL batch sobre tablas de Hive, Delta o Iceberg.

Enfoque

AceMQ analiza el detalle de los stages en la Spark UI y los event logs para comparar el tamaño de entrada por task y la distribución de lectura del shuffle, lo que hace visible el skew de inmediato. La remediación se elige según los datos: Adaptive Query Execution cuando la versión lo admite, salting para las claves calientes persistentes, filtrado de las filas con clave nula fuera de la ruta del join o un broadcast cuando el lado de dimensiones es realmente pequeño.

Solución

  1. Análisis de la distribución de entrada y de lectura del shuffle por task a partir de los event logs para identificar y cuantificar las claves con skew
  2. Habilitación de Adaptive Query Execution con umbrales de skew join y de coalescencia de particiones ajustados a la distribución observada
  3. Salting de claves para las claves calientes persistentes, con la reescritura correspondiente de la agregación
  4. Manejo de claves nulas y centinela fuera de la ruta del join cuando esas filas no tienen significado de negocio
  5. Corrección del dimensionamiento de la memoria de los executors, la cantidad de núcleos y el memory overhead una vez corregida la distribución, no antes
  6. Revisión de la cantidad de particiones y de la ubicación de los repartition para evitar shuffles completos innecesarios

Resultado final

Los jobs nocturnos que fallaban de forma intermitente por OOM terminan de manera confiable, y los tiempos de los stages se nivelan porque ninguna task carga sola con toda la partición. La asignación de memoria del clúster suele bajar en lugar de subir.

Tecnologías

Apache SparkApache HadoopDelta LakeYARN

¿Enfrenta un problema de Apache Spark en producción?

Los ingenieros sénior de Apache Spark de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.