Voltar a todos os casos de utilização

SuporteIndústria / Produção

O job que funcionou durante dois anos, até a tabela de lookup crescer

Fabricante de automação industrial

Resolver jobs que falham depois de uma tabela de dimensão ultrapassar o limiar de broadcast e de o otimizador continuar, ainda assim, a tentar fazer o seu broadcast.

Visão geral

Os broadcast joins são a opção mais rápida quando um dos lados é pequeno, e uma fonte segura de falhas em produção quando esse lado deixa discretamente de o ser. A AceMQ disponibiliza engenheiros seniores designados para diagnosticar e resolver estas falhas durante o incidente, e não depois dele.

Desafio

Uma tabela de dimensão ultrapassa o limiar de broadcast e o driver fica sem memória ao materializá-la, ou o broadcast esgota o tempo limite à espera de que os executors a recebam. As estatísticas desatualizadas agravam o problema: o otimizador planeia um broadcast com base numa contagem de linhas recolhida há meses. Um hint de broadcast explícito esquecido no código agrava-o ainda mais, porque o otimizador deixa de ter margem para recuar. A falha surge de repente num job em que ninguém mexeu.

Ambiente

Apache Spark em YARN, Kubernetes, EMR ou Databricks, com joins sobre tabelas de dimensão que crescem ao longo do tempo.

Abordagem

Os engenheiros da AceMQ confirmam no plano físico se está a ser tentado um broadcast e porquê, e comparam depois o tamanho real do lado de construção com o limiar e com a memória disponível no driver. A resolução imediata passa normalmente por corrigir o limiar, remover o hint ou ajustar a memória do driver; a correção duradoura é a manutenção das estatísticas e a revisão de todos os hints de broadcast explícitos que restam no código.

Solução

  1. Objetivos de resposta a partir de 15 minutos, consoante o plano, com engenheiros seniores designados, 24/7, sem triagem de nível 1
  2. Revisão do plano físico para confirmar a seleção do broadcast e medir o tamanho real do lado de construção face ao limiar configurado
  3. Correção de autoBroadcastJoinThreshold e broadcastTimeout, dimensionada em função da memória real do driver
  4. Remoção ou delimitação dos hints de broadcast explícitos que se sobrepõem ao otimizador, independentemente do crescimento da tabela
  5. Atualização das estatísticas e agendamento de ANALYZE TABLE para que o otimizador planeie com base nas contagens de linhas atuais
  6. Configuração do Adaptive Query Execution para que o plano possa recorrer a um sort-merge join em tempo de execução

Resultado final

O job em falha volta a funcionar no próprio dia e o padrão deixa de se repetir, porque as estatísticas passam a ser mantidas e os hints obsoletos são removidos em todo o código, e não apenas no job que falhou.

Tecnologias

Apache SparkDelta LakeApache Hive

Precisa de suporte Apache Spark especializado?

Os engenheiros seniores de Apache Spark da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.