Visão geral
Quando um job Spark passa mais tempo a escrever dados de shuffle em disco do que a calcular, acrescentar executors pouco ajuda: o estrangulamento é I/O que o job não precisava de fazer. A AceMQ identifica a origem do volume de shuffle e reestrutura o job para o evitar.
Desafio
Os jobs batch noturnos vão acumulando padrões pesados em shuffle: repartições repetidas, joins feitos antes dos filtros, agregações largas sobre colunas não podadas e um número fixo de partições de shuffle que já não corresponde ao volume de dados. O spill para disco passa então a dominar o tempo de execução e, como o job está limitado pela fase mais lenta, a janela batch vai ultrapassando o prazo de que depende o reporting a jusante.
Ambiente
Apache Spark em YARN ou Kubernetes a executar ETL batch noturno, tipicamente sobre tabelas Hive ou Delta na ordem dos vários terabytes.
Abordagem
A AceMQ constrói um perfil, por fase, do volume de leitura e escrita de shuffle e dos bytes em spill, que identifica o pequeno número de fases responsáveis pela maior parte do I/O. Essas fases são depois tratadas estruturalmente — pushdown de predicados e de projeções, reordenação de joins, remoção de repartições redundantes — antes de qualquer afinação de configuração. O dimensionamento das partições e as definições de serialização são ajustados no fim, face ao job já corrigido.
Solução
- Perfil de leitura, escrita e spill de shuffle por fase, para isolar as fases que determinam a janela batch
- Filtragem de predicados e poda de colunas antecipadas para antes dos joins, para que os shuffles transportem menos dados
- Remoção de chamadas redundantes a repartition e coalesce que forçam shuffles completos sem qualquer benefício
- Dimensionamento de shuffle.partitions e coalescing do Adaptive Query Execution afinados ao volume real de dados por partição
- Serialização Kryo, codec de compressão e definições dos buffers de shuffle ajustados face ao job já corrigido
- Revisão do external shuffle service e da organização dos discos locais, incluindo volumes dedicados ao spill onde há contenção de I/O
Resultado final
Os clientes reduzem tipicamente a janela batch noturna em cerca de um terço nos jobs tratados, com os maiores ganhos a virem das alterações estruturais e não da configuração. A janela deixa de derrapar, porque o volume de shuffle deixa de crescer com cada aumento de dados.