Voltar para todos os casos de uso

SuporteIndústria / manufatura

O job que funcionou por dois anos, até a tabela de lookup crescer

Fabricante de automação industrial

Como resolvemos jobs que falham depois que uma tabela de dimensão ultrapassa o limite de broadcast e o otimizador continua tentando fazer o broadcast dela mesmo assim.

Visão geral

Broadcast joins são a opção mais rápida quando um dos lados é pequeno, e uma fonte confiável de quedas em produção quando esse lado deixa de ser pequeno sem ninguém perceber. A AceMQ oferece engenheiros sêniores designados para diagnosticar e resolver essas falhas durante o incidente, e não depois dele.

Desafio

Uma tabela de dimensão ultrapassa o limite de broadcast e o driver fica sem memória ao materializá-la, ou o broadcast estoura o tempo esperando que os executors a recebam. Estatísticas desatualizadas pioram a situação: o otimizador planeja um broadcast com base em uma contagem de linhas coletada meses atrás. Um hint de broadcast explícito esquecido no código piora ainda mais, porque o otimizador não tem como recuar. A falha aparece de repente em um job que ninguém tocou.

Ambiente

Apache Spark em YARN, Kubernetes, EMR ou Databricks, executando joins com tabelas de dimensão que crescem com o tempo.

Abordagem

Os engenheiros da AceMQ confirmam, pelo plano físico, se um broadcast está sendo tentado e por quê, e depois comparam o tamanho real do lado de build com o limite configurado e com a memória disponível no driver. A solução imediata costuma ser corrigir o limite, remover o hint ou ajustar a memória do driver; a correção duradoura é manter as estatísticas em dia e revisar todos os hints de broadcast explícitos que restam no código.

Solução

  1. Metas de resposta a partir de 15 minutos, conforme o plano, com engenheiros sêniores designados, 24/7, sem triagem de nível 1
  2. Revisão do plano físico para confirmar a escolha do broadcast e medir o tamanho real do lado de build em relação ao limite configurado
  3. Correção de autoBroadcastJoinThreshold e broadcastTimeout, dimensionados de acordo com a memória real do driver
  4. Remoção ou restrição dos hints de broadcast explícitos que se sobrepõem ao otimizador independentemente do crescimento das tabelas
  5. Atualização das estatísticas e agendamento do ANALYZE TABLE para que o otimizador planeje com base nas contagens de linhas atuais
  6. Configuração do Adaptive Query Execution para que o plano possa recorrer a um sort-merge join em tempo de execução

Resultado obtido

O job com falha volta a funcionar no mesmo dia, e o padrão deixa de se repetir porque as estatísticas passam a ser mantidas e os hints desatualizados são removidos em todo o código, e não só no job que quebrou.

Tecnologias

Apache SparkDelta LakeApache Hive

Precisa de suporte especializado em Apache Spark?

Os engenheiros Apache Spark sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.