Retour à tous les cas d'usage

ConseilServices financiers / paiements

Réduisez le shuffle, la fenêtre batch suivra

Banque de détail nationale

Réduire le volume d'écriture du shuffle et le spill sur disque des traitements batch nocturnes pour que la fenêtre de traitement tienne avant l'échéance du reporting.

Présentation

Quand un job Spark passe plus de temps à écrire des données de shuffle sur disque qu'à calculer, ajouter des executors n'aide pas beaucoup : le goulot d'étranglement, ce sont des E/S que le job n'avait pas besoin de faire. AceMQ identifie l'origine du volume de shuffle et restructure le job pour l'éviter.

Défi

Avec le temps, les traitements batch nocturnes accumulent des schémas gourmands en shuffle : repartitionnements répétés, jointures effectuées avant les filtres, agrégations larges sur des colonnes non élaguées, et un nombre fixe de partitions de shuffle qui ne correspond plus au volume de données. Le spill sur disque finit par dominer le temps d'exécution et, comme le job est limité par son étape la plus lente, la fenêtre batch déborde peu à peu au-delà de l'échéance dont dépend le reporting en aval.

Environnement

Apache Spark sur YARN ou Kubernetes exécutant des ETL batch nocturnes, généralement sur des tables Hive ou Delta de plusieurs téraoctets.

Approche

AceMQ établit un profil par étape des volumes de lecture et d'écriture du shuffle et des octets déversés sur disque, ce qui permet d'identifier le petit nombre d'étapes responsables de l'essentiel des E/S. Ces étapes sont ensuite traitées sur le plan structurel — pushdown des prédicats et des projections, réordonnancement des jointures, suppression des repartitionnements superflus — avant tout réglage de configuration. Le dimensionnement des partitions et les paramètres de sérialisation sont ajustés en dernier, sur la forme corrigée du job.

Solution

  1. Profilage par étape des lectures, écritures et spills du shuffle pour isoler les étapes qui déterminent la fenêtre batch
  2. Filtrage des prédicats et élagage des colonnes effectués avant les jointures pour que les shuffles transportent moins de données
  3. Suppression des appels repartition et coalesce superflus qui imposent des shuffles complets sans aucun bénéfice
  4. Dimensionnement de shuffle.partitions et réglage du regroupement par Adaptive Query Execution en fonction du volume réel de données par partition
  5. Ajustement de la sérialisation Kryo, du codec de compression et des buffers de shuffle sur la forme corrigée du job
  6. Revue de l'external shuffle service et de l'organisation des disques locaux, avec des volumes dédiés au spill là où les E/S sont en contention

Résultat obtenu

Les clients réduisent généralement d'environ un tiers la fenêtre batch nocturne sur les jobs traités, les gains les plus importants venant des changements structurels plutôt que de la configuration. La fenêtre cesse de dériver, car le volume de shuffle n'augmente plus à chaque hausse des données.

Technologies

Apache SparkApache HadoopYARNApache Hive

Besoin de conseils en architecture Apache Spark ?

Les ingénieurs Apache Spark seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.