Retour à tous les cas d'usage

SupportIndustrie / production

Le job qui fonctionnait depuis deux ans, jusqu'à ce que la table de référence grossisse

Fabricant de solutions d'automatisation industrielle

Résoudre les échecs de jobs survenant lorsqu'une table de dimension dépasse le seuil de broadcast et que l'optimiseur s'obstine malgré tout à la diffuser.

Présentation

Les broadcast joins sont l'option la plus rapide lorsque l'un des deux côtés est petit, et une source fiable d'incidents de production lorsque ce côté cesse discrètement de l'être. AceMQ met à votre disposition des ingénieurs seniors attitrés pour diagnostiquer et résoudre ces échecs pendant l'incident, et non après.

Défi

Une table de dimension franchit le seuil de broadcast : soit le driver manque de mémoire en la matérialisant, soit le broadcast expire en attendant que les executors la reçoivent. Des statistiques obsolètes aggravent la situation — l'optimiseur planifie un broadcast sur la base d'un nombre de lignes collecté il y a plusieurs mois. Un hint de broadcast explicite laissé dans le code l'aggrave encore, car l'optimiseur n'a alors plus aucune latitude pour y renoncer. L'échec survient brutalement dans un job auquel personne n'a touché.

Environnement

Apache Spark sur YARN, Kubernetes, EMR ou Databricks, avec des jointures sur des tables de dimension qui grossissent au fil du temps.

Approche

Les ingénieurs AceMQ vérifient dans le plan physique si un broadcast est tenté et pourquoi, puis comparent la taille réelle du côté build au seuil configuré et à la mémoire disponible sur le driver. La résolution immédiate passe généralement par une correction du seuil, la suppression d'un hint ou un ajustement de la mémoire du driver ; la correction durable repose sur la maintenance des statistiques et la revue de tous les hints de broadcast explicites restant dans la base de code.

Solution

  1. Objectifs de réponse à partir de 15 minutes, selon le plan, avec des ingénieurs seniors attitrés, 24/7, sans tri de niveau 1
  2. Revue du plan physique pour confirmer le choix du broadcast et mesurer la taille réelle du côté build par rapport au seuil configuré
  3. Correction de autoBroadcastJoinThreshold et de broadcastTimeout, dimensionnés selon la mémoire réelle du driver
  4. Suppression ou restriction des hints de broadcast explicites qui court-circuitent l'optimiseur quelle que soit la croissance des tables
  5. Rafraîchissement des statistiques et planification d'ANALYZE TABLE pour que l'optimiseur s'appuie sur des nombres de lignes à jour
  6. Configuration d'Adaptive Query Execution pour que le plan puisse se rabattre sur un sort-merge join à l'exécution

Résultat obtenu

Le job en échec est remis en service le jour même, et le problème ne se reproduit plus, car les statistiques sont entretenues et les hints obsolètes supprimés dans toute la base de code, et pas seulement dans le job qui a cassé.

Technologies

Apache SparkDelta LakeApache Hive

Besoin d'un support Apache Spark expert ?

Les ingénieurs Apache Spark seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.