Volver a todos los casos de uso

SoporteIndustria / Manufactura

El job que funcionó dos años, hasta que creció la tabla de lookup

Fabricante de automatización industrial

Resolución de jobs que fallan cuando una tabla de dimensiones supera el umbral de broadcast y el optimizador sigue intentando hacer broadcast de todos modos.

Descripción general

Los broadcast joins son la opción más rápida cuando uno de los lados es pequeño, y una fuente segura de caídas en producción cuando ese lado deja de serlo sin que nadie lo note. AceMQ aporta ingenieros sénior asignados para diagnosticar y resolver estas fallas durante el incidente, no después.

Desafío

Una tabla de dimensiones cruza el umbral de broadcast y, o bien el driver se queda sin memoria al materializarla, o bien el broadcast agota su timeout esperando a que los executors la reciban. Las estadísticas desactualizadas lo empeoran: el optimizador planifica un broadcast con base en un conteo de filas recopilado hace meses. Un hint de broadcast explícito olvidado en el código lo empeora todavía más, porque el optimizador no tiene margen para dar marcha atrás. La falla aparece de repente en un job que nadie ha tocado.

Entorno

Apache Spark sobre YARN, Kubernetes, EMR o Databricks, con joins contra tablas de dimensiones que crecen con el tiempo.

Enfoque

Los ingenieros de AceMQ confirman en el plan físico si se está intentando un broadcast y por qué, y después comparan el tamaño real del lado de construcción con el umbral y con la memoria disponible del driver. La solución inmediata suele ser corregir el umbral, eliminar el hint o ajustar la memoria del driver; la corrección duradera es mantener las estadísticas al día y revisar todos los hints de broadcast explícitos que quedan en el código.

Solución

  1. Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
  2. Revisión del plan físico para confirmar la selección del broadcast y medir el tamaño real del lado de construcción frente al umbral configurado
  3. Corrección de autoBroadcastJoinThreshold y broadcastTimeout dimensionada según la memoria real del driver
  4. Eliminación o acotamiento de los hints de broadcast explícitos que se imponen al optimizador sin importar cuánto crezca la tabla
  5. Actualización de estadísticas y programación de ANALYZE TABLE para que el optimizador planifique con conteos de filas actuales
  6. Configuración de Adaptive Query Execution para que el plan pueda recurrir a un sort-merge join en tiempo de ejecución

Resultado final

El job que fallaba vuelve a operar el mismo día, y el patrón deja de repetirse porque las estadísticas se mantienen al día y los hints obsoletos se eliminan en todo el código, no solo en el job que se rompió.

Tecnologías

Apache SparkDelta LakeApache Hive

¿Necesita soporte experto de Apache Spark?

Los ingenieros sénior de Apache Spark de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.