Descripción general
Cuando un job de Spark pasa más tiempo escribiendo datos de shuffle a disco que calculando, agregar executors no ayuda mucho: el cuello de botella es I/O que el job no necesitaba hacer. AceMQ perfila dónde se origina el volumen de shuffle y reestructura el job para evitarlo.
Desafío
Con el tiempo, los jobs batch nocturnos acumulan patrones con mucho shuffle: repartitions repetidos, joins que se ejecutan antes de los filtros, agregaciones amplias sobre columnas sin podar y una cantidad fija de particiones de shuffle que ya no corresponde al volumen de datos. El spill a disco pasa entonces a dominar el tiempo de ejecución y, como el job está limitado por su etapa más lenta, la ventana batch se va corriendo más allá del plazo del que dependen los reportes posteriores.
Entorno
Apache Spark sobre YARN o Kubernetes con ETL batch nocturno, normalmente sobre tablas de Hive o Delta de varios terabytes.
Enfoque
AceMQ construye un perfil por etapa del volumen de lectura y escritura de shuffle y de los bytes de spill, lo que identifica las pocas etapas responsables de la mayor parte del I/O. Luego esas etapas se abordan de forma estructural (pushdown de predicados y proyecciones, reordenamiento de joins, eliminación de repartitions redundantes) antes de cualquier ajuste de configuración. El tamaño de las particiones y la configuración de serialización se ajustan al final, sobre la forma ya corregida del job.
Solución
- Perfilado por etapa de la lectura, la escritura y el spill de shuffle para aislar las etapas que determinan la ventana batch
- Poda de predicados y columnas llevada antes de los joins para que los shuffles transporten menos datos
- Eliminación de llamadas redundantes a repartition y coalesce que fuerzan shuffles completos sin beneficio
- Dimensionamiento de shuffle.partitions y ajuste del coalescing de Adaptive Query Execution según el volumen real de datos por partición
- Ajuste de la serialización Kryo, el códec de compresión y los buffers de shuffle sobre la forma corregida del job
- Revisión del external shuffle service y de la distribución de los discos locales, incluidos volúmenes dedicados para spill donde hay contención de I/O
Resultado final
Los clientes suelen reducir la ventana batch nocturna en aproximadamente un tercio en los jobs abordados, y las mayores mejoras provienen de los cambios estructurales más que de la configuración. La ventana deja de desplazarse porque el volumen de shuffle ya no crece con cada incremento de datos.