Présentation
Dans Spark, un OOM d'executor est généralement un symptôme, dont la cause profonde tient souvent à un petit nombre de clés de jointure ou de regroupement qui concentrent une part disproportionnée des lignes. AceMQ diagnostique directement le skew au lieu d'augmenter la mémoire des executors jusqu'à ce que le job cesse de planter.
Défi
Le schéma classique : une jointure sur une colonne où une valeur nulle de substitution ou un identifiant de tenant par défaut représente une large part des lignes. Toutes ces lignes sont hachées vers une même partition, un seul executor tente de les contenir, et il meurt. Les équipes réagissent en augmentant spark.executor.memory, ce qui retarde l'échec et alourdit le coût du cluster sans rien régler. Pendant ce temps, la durée de l'étape est bornée par sa tâche la plus lente, si bien que la fenêtre du job ne cesse de s'allonger.
Environnement
Apache Spark sur YARN, Kubernetes ou Databricks, exécutant des traitements ETL batch sur des tables Hive, Delta ou Iceberg.
Approche
AceMQ lit le détail des étapes dans la Spark UI et les journaux d'événements pour comparer la taille des entrées par tâche et la répartition des lectures de shuffle, ce qui rend le skew immédiatement visible. La remédiation est choisie en fonction des données : Adaptive Query Execution lorsque la version le permet, salting pour les clés chaudes persistantes, exclusion des lignes à clé nulle du chemin de jointure, ou broadcast lorsque le côté dimension est réellement petit.
Solution
- Analyse, à partir des journaux d'événements, de la répartition des entrées et des lectures de shuffle par tâche pour identifier et quantifier les clés déséquilibrées
- Activation d'Adaptive Query Execution, avec des seuils de skew join et de coalescence des partitions réglés sur la distribution observée
- Salting des clés chaudes persistantes, avec la réécriture correspondante de l'agrégation
- Retrait du chemin de jointure des lignes à clé nulle ou sentinelle lorsqu'elles n'ont aucune signification métier
- Correction du dimensionnement de la mémoire des executors, du nombre de cœurs et du memory overhead une fois la distribution corrigée, et non avant
- Revue du nombre de partitions et de l'emplacement des repartitions pour éviter les shuffles complets inutiles
Résultat obtenu
Les jobs nocturnes qui échouaient par intermittence sur des OOM s'exécutent de façon fiable, et la durée des étapes s'aplanit, car aucune tâche ne porte plus à elle seule toute la partition. L'allocation mémoire du cluster diminue généralement au lieu d'augmenter.