Visão geral
OOM em executors do Spark costuma ser um sintoma, e a causa de fundo muitas vezes é que um pequeno número de chaves de join ou de agrupamento concentra uma parcela desproporcional das linhas. A AceMQ diagnostica o skew diretamente, em vez de aumentar a memória dos executors até o job parar de cair.
Desafio
O padrão mais comum é um join em uma coluna na qual um placeholder nulo ou um ID de tenant padrão responde por grande parte das linhas. Todas essas linhas caem, pelo hash, na mesma partição, um único executor tenta segurá-las e morre. As equipes reagem aumentando spark.executor.memory, o que apenas adia a falha e eleva o custo do cluster sem resolver nada. Enquanto isso, o tempo de execução do stage é limitado pela task mais lenta, e a janela do job continua crescendo.
Ambiente
Apache Spark em YARN, Kubernetes ou Databricks, executando ETL em lote sobre tabelas Hive, Delta ou Iceberg.
Abordagem
A AceMQ analisa o detalhe dos stages na Spark UI e os event logs para comparar o tamanho de entrada e a distribuição de shuffle read por task, o que torna o skew imediatamente visível. A correção é escolhida de acordo com os dados: Adaptive Query Execution, quando a versão suporta, salting para hot keys persistentes, remoção das linhas com chave nula do caminho do join ou broadcast quando o lado da dimensão é realmente pequeno.
Solução
- Análise da distribuição de entrada e de shuffle read por task a partir dos event logs, para identificar e quantificar as chaves com skew
- Ativação do Adaptive Query Execution, com os limites de skew join e de coalescência de partições ajustados à distribuição observada
- Salting de chaves para hot keys persistentes, com a reescrita correspondente da agregação
- Remoção de chaves nulas e sentinela do caminho do join quando essas linhas não têm significado de negócio
- Dimensionamento de memória dos executors, quantidade de cores e memory overhead corrigido depois de ajustar a distribuição, e não antes
- Revisão da quantidade de partições e do posicionamento dos repartitions para evitar shuffles completos desnecessários
Resultado obtido
Jobs noturnos que falhavam de forma intermitente por OOM passam a terminar de forma confiável, e os tempos dos stages se nivelam porque nenhuma task carrega sozinha a partição inteira. A alocação de memória do cluster geralmente diminui, em vez de aumentar.