Descripción general
Cuando un job de Spark dedica más tiempo a escribir datos de shuffle en disco que a calcular, añadir executors apenas ayuda: el cuello de botella es una E/S que el job no necesitaba hacer. AceMQ analiza dónde se origina el volumen de shuffle y reestructura el job para evitarlo.
Reto
Con el tiempo, los jobs por lotes nocturnos acumulan patrones con mucho shuffle: repartitions repetidos, joins que se hacen antes que los filtros, agregaciones amplias sobre columnas sin podar y un número estático de particiones de shuffle que ya no se corresponde con el volumen de datos. El spill a disco pasa entonces a dominar el tiempo de ejecución y, como el job está limitado por su etapa más lenta, la ventana de procesamiento se va alargando hasta superar el plazo del que dependen los informes posteriores.
Entorno
Apache Spark en YARN o Kubernetes con procesos ETL por lotes nocturnos, normalmente sobre tablas Hive o Delta de varios terabytes.
Enfoque
AceMQ elabora un perfil por etapas del volumen de lectura y escritura de shuffle y de los bytes de spill, lo que identifica el pequeño número de etapas responsables de la mayor parte de la E/S. Después, esas etapas se abordan de forma estructural (predicate y projection pushdown, reordenación de los joins, eliminación de repartitions redundantes) antes de cualquier ajuste de configuración. El dimensionamiento de las particiones y los ajustes de serialización se modifican al final, sobre la forma ya corregida del job.
Solución
- Perfilado por etapas de la lectura, la escritura y el spill de shuffle para aislar las etapas que determinan la ventana de procesamiento
- Poda de predicados y de columnas antes de los joins para que los shuffles muevan menos datos
- Eliminación de las llamadas redundantes a repartition y coalesce que fuerzan shuffles completos sin ningún beneficio
- Dimensionamiento de shuffle.partitions y ajuste de la consolidación de Adaptive Query Execution al volumen real de datos por partición
- Ajuste de la serialización Kryo, el códec de compresión y los búferes de shuffle sobre la forma corregida del job
- Revisión del external shuffle service y de la distribución de los discos locales, incluidos volúmenes dedicados para el spill donde hay contención de E/S
Resultado final
Los clientes suelen reducir la ventana de procesamiento nocturno en aproximadamente un tercio en los jobs abordados, y las mayores mejoras proceden de los cambios estructurales, no de la configuración. La ventana deja de desplazarse porque el volumen de shuffle ya no crece con cada incremento de datos.