Présentation
Les broadcast joins sont l'option la plus rapide lorsque l'un des deux côtés est petit, et une source fiable d'incidents de production lorsque ce côté cesse discrètement de l'être. AceMQ met à votre disposition des ingénieurs seniors attitrés pour diagnostiquer et résoudre ces échecs pendant l'incident, et non après.
Défi
Une table de dimension franchit le seuil de broadcast : soit le driver manque de mémoire en la matérialisant, soit le broadcast expire en attendant que les executors la reçoivent. Des statistiques obsolètes aggravent la situation — l'optimiseur planifie un broadcast sur la base d'un nombre de lignes collecté il y a plusieurs mois. Un hint de broadcast explicite laissé dans le code l'aggrave encore, car l'optimiseur n'a alors plus aucune latitude pour y renoncer. L'échec survient brutalement dans un job auquel personne n'a touché.
Environnement
Apache Spark sur YARN, Kubernetes, EMR ou Databricks, avec des jointures sur des tables de dimension qui grossissent au fil du temps.
Approche
Les ingénieurs AceMQ vérifient dans le plan physique si un broadcast est tenté et pourquoi, puis comparent la taille réelle du côté build au seuil configuré et à la mémoire disponible sur le driver. La résolution immédiate passe généralement par une correction du seuil, la suppression d'un hint ou un ajustement de la mémoire du driver ; la correction durable repose sur la maintenance des statistiques et la revue de tous les hints de broadcast explicites restant dans la base de code.
Solution
- Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
- Revue du plan physique pour confirmer le choix du broadcast et mesurer la taille réelle du côté build par rapport au seuil configuré
- Correction de autoBroadcastJoinThreshold et de broadcastTimeout, dimensionnés selon la mémoire réelle du driver
- Suppression ou restriction des hints de broadcast explicites qui court-circuitent l'optimiseur quelle que soit la croissance des tables
- Rafraîchissement des statistiques et planification d'ANALYZE TABLE pour que l'optimiseur s'appuie sur des nombres de lignes à jour
- Configuration d'Adaptive Query Execution pour que le plan puisse se rabattre sur un sort-merge join à l'exécution
Résultat obtenu
Le job en échec est remis en service le jour même, et le problème ne se reproduit plus, car les statistiques sont entretenues et les hints obsolètes supprimés dans toute la base de code, et pas seulement dans le job qui a cassé.