Voltar para todos os casos de uso

ConsultoriaServiços financeiros / pagamentos

Reduza o shuffle, e a janela batch acompanha

Banco de varejo nacional

Redução do volume de escrita de shuffle e do spill em disco nos jobs batch noturnos, para que a janela de processamento caiba dentro do prazo dos relatórios.

Visão geral

Quando um job Spark passa mais tempo escrevendo dados de shuffle em disco do que processando, adicionar executors ajuda pouco: o gargalo é um I/O que o job não precisava fazer. A AceMQ identifica de onde vem o volume de shuffle e reestrutura o job para evitá-lo.

Desafio

Os jobs batch noturnos acumulam, com o tempo, padrões pesados em shuffle: repartitions repetidos, joins feitos antes dos filtros, agregações amplas sobre colunas sem pruning e uma quantidade fixa de partições de shuffle que já não corresponde ao volume de dados. O spill em disco passa então a dominar o tempo de execução e, como o job é limitado pelo stage mais lento, a janela batch vai ultrapassando o prazo do qual dependem os relatórios downstream.

Ambiente

Apache Spark em YARN ou Kubernetes rodando ETL batch noturno, normalmente sobre tabelas Hive ou Delta na casa dos vários terabytes.

Abordagem

A AceMQ monta um perfil por stage do volume de leitura e escrita de shuffle e dos bytes de spill, o que identifica o pequeno número de stages responsáveis pela maior parte do I/O. Esses stages são então tratados de forma estrutural (predicate pushdown e projection pushdown, reordenação de joins, remoção de repartitions redundantes) antes de qualquer tuning de configuração. O dimensionamento das partições e as configurações de serialização são ajustados por último, com base no formato já corrigido do job.

Solução

  1. Perfil por stage de leitura, escrita e spill de shuffle para isolar os stages que determinam a janela batch
  2. Pruning de predicados e de colunas antecipado para antes dos joins, para que os shuffles carreguem menos dados
  3. Remoção de chamadas redundantes de repartition e coalesce que forçam shuffles completos sem nenhum benefício
  4. Dimensionamento do shuffle.partitions e coalescing do Adaptive Query Execution ajustados ao volume real de dados por partição
  5. Serialização Kryo, codec de compressão e configurações de buffer de shuffle ajustados com base no formato corrigido do job
  6. Revisão do external shuffle service e do layout dos discos locais, incluindo volumes dedicados para spill onde há contenção de I/O

Resultado obtido

Os clientes normalmente reduzem a janela batch noturna em cerca de um terço nos jobs tratados, com os maiores ganhos vindo das mudanças estruturais, e não da configuração. A janela para de escorregar porque o volume de shuffle deixa de crescer a cada aumento de dados.

Tecnologias

Apache SparkApache HadoopYARNApache Hive

Precisa de orientação de arquitetura para Apache Spark?

Os engenheiros Apache Spark sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.