Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Reduzca el shuffle y la ventana batch se ajusta sola

Banco minorista nacional

Reducción del volumen de escritura de shuffle y del spill a disco en los jobs batch nocturnos para que la ventana de procesamiento quepa dentro del plazo de los reportes.

Descripción general

Cuando un job de Spark pasa más tiempo escribiendo datos de shuffle a disco que calculando, agregar executors no ayuda mucho: el cuello de botella es I/O que el job no necesitaba hacer. AceMQ perfila dónde se origina el volumen de shuffle y reestructura el job para evitarlo.

Desafío

Con el tiempo, los jobs batch nocturnos acumulan patrones con mucho shuffle: repartitions repetidos, joins que se ejecutan antes de los filtros, agregaciones amplias sobre columnas sin podar y una cantidad fija de particiones de shuffle que ya no corresponde al volumen de datos. El spill a disco pasa entonces a dominar el tiempo de ejecución y, como el job está limitado por su etapa más lenta, la ventana batch se va corriendo más allá del plazo del que dependen los reportes posteriores.

Entorno

Apache Spark sobre YARN o Kubernetes con ETL batch nocturno, normalmente sobre tablas de Hive o Delta de varios terabytes.

Enfoque

AceMQ construye un perfil por etapa del volumen de lectura y escritura de shuffle y de los bytes de spill, lo que identifica las pocas etapas responsables de la mayor parte del I/O. Luego esas etapas se abordan de forma estructural (pushdown de predicados y proyecciones, reordenamiento de joins, eliminación de repartitions redundantes) antes de cualquier ajuste de configuración. El tamaño de las particiones y la configuración de serialización se ajustan al final, sobre la forma ya corregida del job.

Solución

  1. Perfilado por etapa de la lectura, la escritura y el spill de shuffle para aislar las etapas que determinan la ventana batch
  2. Poda de predicados y columnas llevada antes de los joins para que los shuffles transporten menos datos
  3. Eliminación de llamadas redundantes a repartition y coalesce que fuerzan shuffles completos sin beneficio
  4. Dimensionamiento de shuffle.partitions y ajuste del coalescing de Adaptive Query Execution según el volumen real de datos por partición
  5. Ajuste de la serialización Kryo, el códec de compresión y los buffers de shuffle sobre la forma corregida del job
  6. Revisión del external shuffle service y de la distribución de los discos locales, incluidos volúmenes dedicados para spill donde hay contención de I/O

Resultado final

Los clientes suelen reducir la ventana batch nocturna en aproximadamente un tercio en los jobs abordados, y las mayores mejoras provienen de los cambios estructurales más que de la configuración. La ventana deja de desplazarse porque el volumen de shuffle ya no crece con cada incremento de datos.

Tecnologías

Apache SparkApache HadoopYARNApache Hive

¿Necesita orientación de arquitectura para Apache Spark?

Los ingenieros sénior de Apache Spark de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.