Descripción general
Los broadcast joins son la opción más rápida cuando uno de los lados es pequeño, y una fuente segura de caídas en producción cuando ese lado deja de serlo sin que nadie se dé cuenta. AceMQ asigna ingenieros sénior para diagnosticar y resolver estos fallos durante el incidente, no después.
Reto
Una tabla de dimensiones supera el umbral de broadcast y, o bien el driver se queda sin memoria al materializarla, o bien el broadcast agota el tiempo de espera mientras los executors la reciben. Las estadísticas desactualizadas lo empeoran: el optimizador planifica un broadcast a partir de un recuento de filas obtenido hace meses. Un hint de broadcast explícito olvidado en el código lo empeora todavía más, porque el optimizador no tiene margen para dar marcha atrás. El fallo aparece de repente en un job que nadie ha tocado.
Entorno
Apache Spark sobre YARN, Kubernetes, EMR o Databricks, con joins contra tablas de dimensiones que crecen con el tiempo.
Enfoque
Los ingenieros de AceMQ confirman en el plan físico si se está intentando un broadcast y por qué, y después comparan el tamaño real del lado de construcción con el umbral y con la memoria disponible en el driver. La resolución inmediata suele ser corregir el umbral, eliminar el hint o ajustar la memoria del driver; la solución duradera es mantener las estadísticas al día y revisar todos los hints de broadcast explícitos que queden en el código.
Solución
- Objetivos de respuesta desde 15 minutos, según el plan, con ingenieros sénior asignados, 24/7, sin triaje de nivel 1
- Revisión del plan físico para confirmar la elección del broadcast y medir el tamaño real del lado de construcción frente al umbral configurado
- Corrección de autoBroadcastJoinThreshold y broadcastTimeout dimensionada según la memoria real del driver
- Eliminación o acotación de los hints de broadcast explícitos que se imponen al optimizador sin importar cuánto crezca la tabla
- Actualización de estadísticas y programación de ANALYZE TABLE para que el optimizador planifique con recuentos de filas actuales
- Configuración de Adaptive Query Execution para que el plan pueda recurrir a un sort-merge join en tiempo de ejecución
Resultado final
El job que fallaba vuelve a funcionar el mismo día, y el problema deja de repetirse porque las estadísticas se mantienen al día y los hints obsoletos se eliminan de todo el código, no solo del job que se rompió.