Volver a todos los casos de uso

ConsultoríaServicios financieros / Pagos

Reduzca el shuffle y la ventana de procesamiento por lotes se reducirá con él

Banco minorista nacional

Reducción del volumen de escritura de shuffle y del spill a disco en los jobs por lotes nocturnos para que la ventana de procesamiento cumpla el plazo de los informes.

Descripción general

Cuando un job de Spark dedica más tiempo a escribir datos de shuffle en disco que a calcular, añadir executors apenas ayuda: el cuello de botella es una E/S que el job no necesitaba hacer. AceMQ analiza dónde se origina el volumen de shuffle y reestructura el job para evitarlo.

Reto

Con el tiempo, los jobs por lotes nocturnos acumulan patrones con mucho shuffle: repartitions repetidos, joins que se hacen antes que los filtros, agregaciones amplias sobre columnas sin podar y un número estático de particiones de shuffle que ya no se corresponde con el volumen de datos. El spill a disco pasa entonces a dominar el tiempo de ejecución y, como el job está limitado por su etapa más lenta, la ventana de procesamiento se va alargando hasta superar el plazo del que dependen los informes posteriores.

Entorno

Apache Spark en YARN o Kubernetes con procesos ETL por lotes nocturnos, normalmente sobre tablas Hive o Delta de varios terabytes.

Enfoque

AceMQ elabora un perfil por etapas del volumen de lectura y escritura de shuffle y de los bytes de spill, lo que identifica el pequeño número de etapas responsables de la mayor parte de la E/S. Después, esas etapas se abordan de forma estructural (predicate y projection pushdown, reordenación de los joins, eliminación de repartitions redundantes) antes de cualquier ajuste de configuración. El dimensionamiento de las particiones y los ajustes de serialización se modifican al final, sobre la forma ya corregida del job.

Solución

  1. Perfilado por etapas de la lectura, la escritura y el spill de shuffle para aislar las etapas que determinan la ventana de procesamiento
  2. Poda de predicados y de columnas antes de los joins para que los shuffles muevan menos datos
  3. Eliminación de las llamadas redundantes a repartition y coalesce que fuerzan shuffles completos sin ningún beneficio
  4. Dimensionamiento de shuffle.partitions y ajuste de la consolidación de Adaptive Query Execution al volumen real de datos por partición
  5. Ajuste de la serialización Kryo, el códec de compresión y los búferes de shuffle sobre la forma corregida del job
  6. Revisión del external shuffle service y de la distribución de los discos locales, incluidos volúmenes dedicados para el spill donde hay contención de E/S

Resultado final

Los clientes suelen reducir la ventana de procesamiento nocturno en aproximadamente un tercio en los jobs abordados, y las mayores mejoras proceden de los cambios estructurales, no de la configuración. La ventana deja de desplazarse porque el volumen de shuffle ya no crece con cada incremento de datos.

Tecnologías

Apache SparkApache HadoopYARNApache Hive

¿Necesita asesoramiento de arquitectura para Apache Spark?

Los ingenieros sénior de Apache Spark de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.