Voltar a todos os casos de utilização

ConsultoriaServiços financeiros / Pagamentos

Reduza o shuffle e a janela batch acompanha

Banco de retalho nacional

Redução do volume de escrita de shuffle e do spill para disco nos jobs batch noturnos, para que a janela de processamento caiba dentro do prazo de reporting.

Visão geral

Quando um job Spark passa mais tempo a escrever dados de shuffle em disco do que a calcular, acrescentar executors pouco ajuda: o estrangulamento é I/O que o job não precisava de fazer. A AceMQ identifica a origem do volume de shuffle e reestrutura o job para o evitar.

Desafio

Os jobs batch noturnos vão acumulando padrões pesados em shuffle: repartições repetidas, joins feitos antes dos filtros, agregações largas sobre colunas não podadas e um número fixo de partições de shuffle que já não corresponde ao volume de dados. O spill para disco passa então a dominar o tempo de execução e, como o job está limitado pela fase mais lenta, a janela batch vai ultrapassando o prazo de que depende o reporting a jusante.

Ambiente

Apache Spark em YARN ou Kubernetes a executar ETL batch noturno, tipicamente sobre tabelas Hive ou Delta na ordem dos vários terabytes.

Abordagem

A AceMQ constrói um perfil, por fase, do volume de leitura e escrita de shuffle e dos bytes em spill, que identifica o pequeno número de fases responsáveis pela maior parte do I/O. Essas fases são depois tratadas estruturalmente — pushdown de predicados e de projeções, reordenação de joins, remoção de repartições redundantes — antes de qualquer afinação de configuração. O dimensionamento das partições e as definições de serialização são ajustados no fim, face ao job já corrigido.

Solução

  1. Perfil de leitura, escrita e spill de shuffle por fase, para isolar as fases que determinam a janela batch
  2. Filtragem de predicados e poda de colunas antecipadas para antes dos joins, para que os shuffles transportem menos dados
  3. Remoção de chamadas redundantes a repartition e coalesce que forçam shuffles completos sem qualquer benefício
  4. Dimensionamento de shuffle.partitions e coalescing do Adaptive Query Execution afinados ao volume real de dados por partição
  5. Serialização Kryo, codec de compressão e definições dos buffers de shuffle ajustados face ao job já corrigido
  6. Revisão do external shuffle service e da organização dos discos locais, incluindo volumes dedicados ao spill onde há contenção de I/O

Resultado final

Os clientes reduzem tipicamente a janela batch noturna em cerca de um terço nos jobs tratados, com os maiores ganhos a virem das alterações estruturais e não da configuração. A janela deixa de derrapar, porque o volume de shuffle deixa de crescer com cada aumento de dados.

Tecnologias

Apache SparkApache HadoopYARNApache Hive

Precisa de orientação de arquitetura Apache Spark?

Os engenheiros seniores de Apache Spark da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.