Visão geral
Quando um job Spark passa mais tempo escrevendo dados de shuffle em disco do que processando, adicionar executors ajuda pouco: o gargalo é um I/O que o job não precisava fazer. A AceMQ identifica de onde vem o volume de shuffle e reestrutura o job para evitá-lo.
Desafio
Os jobs batch noturnos acumulam, com o tempo, padrões pesados em shuffle: repartitions repetidos, joins feitos antes dos filtros, agregações amplas sobre colunas sem pruning e uma quantidade fixa de partições de shuffle que já não corresponde ao volume de dados. O spill em disco passa então a dominar o tempo de execução e, como o job é limitado pelo stage mais lento, a janela batch vai ultrapassando o prazo do qual dependem os relatórios downstream.
Ambiente
Apache Spark em YARN ou Kubernetes rodando ETL batch noturno, normalmente sobre tabelas Hive ou Delta na casa dos vários terabytes.
Abordagem
A AceMQ monta um perfil por stage do volume de leitura e escrita de shuffle e dos bytes de spill, o que identifica o pequeno número de stages responsáveis pela maior parte do I/O. Esses stages são então tratados de forma estrutural (predicate pushdown e projection pushdown, reordenação de joins, remoção de repartitions redundantes) antes de qualquer tuning de configuração. O dimensionamento das partições e as configurações de serialização são ajustados por último, com base no formato já corrigido do job.
Solução
- Perfil por stage de leitura, escrita e spill de shuffle para isolar os stages que determinam a janela batch
- Pruning de predicados e de colunas antecipado para antes dos joins, para que os shuffles carreguem menos dados
- Remoção de chamadas redundantes de repartition e coalesce que forçam shuffles completos sem nenhum benefício
- Dimensionamento do shuffle.partitions e coalescing do Adaptive Query Execution ajustados ao volume real de dados por partição
- Serialização Kryo, codec de compressão e configurações de buffer de shuffle ajustados com base no formato corrigido do job
- Revisão do external shuffle service e do layout dos discos locais, incluindo volumes dedicados para spill onde há contenção de I/O
Resultado obtido
Os clientes normalmente reduzem a janela batch noturna em cerca de um terço nos jobs tratados, com os maiores ganhos vindo das mudanças estruturais, e não da configuração. A janela para de escorregar porque o volume de shuffle deixa de crescer a cada aumento de dados.