Visão geral
Broadcast joins são a opção mais rápida quando um dos lados é pequeno, e uma fonte confiável de quedas em produção quando esse lado deixa de ser pequeno sem ninguém perceber. A AceMQ oferece engenheiros sêniores designados para diagnosticar e resolver essas falhas durante o incidente, e não depois dele.
Desafio
Uma tabela de dimensão ultrapassa o limite de broadcast e o driver fica sem memória ao materializá-la, ou o broadcast estoura o tempo esperando que os executors a recebam. Estatísticas desatualizadas pioram a situação: o otimizador planeja um broadcast com base em uma contagem de linhas coletada meses atrás. Um hint de broadcast explícito esquecido no código piora ainda mais, porque o otimizador não tem como recuar. A falha aparece de repente em um job que ninguém tocou.
Ambiente
Apache Spark em YARN, Kubernetes, EMR ou Databricks, executando joins com tabelas de dimensão que crescem com o tempo.
Abordagem
Os engenheiros da AceMQ confirmam, pelo plano físico, se um broadcast está sendo tentado e por quê, e depois comparam o tamanho real do lado de build com o limite configurado e com a memória disponível no driver. A solução imediata costuma ser corrigir o limite, remover o hint ou ajustar a memória do driver; a correção duradoura é manter as estatísticas em dia e revisar todos os hints de broadcast explícitos que restam no código.
Solução
- Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
- Revisão do plano físico para confirmar a escolha do broadcast e medir o tamanho real do lado de build em relação ao limite configurado
- Correção de autoBroadcastJoinThreshold e broadcastTimeout, dimensionados de acordo com a memória real do driver
- Remoção ou restrição dos hints de broadcast explícitos que se sobrepõem ao otimizador independentemente do crescimento das tabelas
- Atualização das estatísticas e agendamento do ANALYZE TABLE para que o otimizador planeje com base nas contagens de linhas atuais
- Configuração do Adaptive Query Execution para que o plano possa recorrer a um sort-merge join em tempo de execução
Resultado obtido
O job com falha volta a funcionar no mesmo dia, e o padrão deixa de se repetir porque as estatísticas passam a ser mantidas e os hints desatualizados são removidos em todo o código, e não só no job que quebrou.