Voltar a todos os casos de utilização

CorreçãoTelecomunicações

Quando 199 tasks terminam num minuto e uma demora uma hora, o problema é skew

Operador de telecomunicações

Corrigir jobs noturnos em que um punhado de chaves enviesadas concentra os dados em poucos executors e provoca falhas repetidas por falta de memória.

Visão geral

O OOM de executors no Spark é normalmente um sintoma, e a causa subjacente é muitas vezes que um pequeno número de chaves de join ou de agrupamento concentra uma parte desproporcionada das linhas. A AceMQ diagnostica diretamente o skew, em vez de ir aumentando a memória dos executors até o job deixar de falhar.

Desafio

O padrão comum é um join sobre uma coluna em que um placeholder nulo ou um ID de tenant predefinido representa uma grande fração das linhas. Todas essas linhas caem por hash na mesma partição, um executor tenta guardá-las e morre. As equipas reagem aumentando spark.executor.memory, o que adia a falha e aumenta o custo do cluster sem resolver nada. Entretanto, o tempo de execução do stage é limitado pela sua task mais lenta, pelo que a janela do job continua a crescer.

Ambiente

Apache Spark em YARN, Kubernetes ou Databricks, a executar ETL batch sobre tabelas Hive, Delta ou Iceberg.

Abordagem

A AceMQ analisa o detalhe dos stages na Spark UI e os event logs para comparar o tamanho de input por task e a distribuição do shuffle read, o que torna o skew imediatamente visível. A correção é escolhida em função dos dados: adaptive query execution quando a versão o suporta, salting para hot keys persistentes, filtragem das linhas com chave nula fora do caminho do join, ou um broadcast quando o lado da dimensão é realmente pequeno.

Solução

  1. Análise da distribuição do input e do shuffle read por task a partir dos event logs para identificar e quantificar as chaves enviesadas
  2. Ativação do Adaptive Query Execution com limiares de skew join e de coalescência de partições afinados para a distribuição observada
  3. Salting das hot keys persistentes, com a correspondente reescrita da agregação
  4. Remoção do caminho do join das chaves nulas e sentinela quando essas linhas não têm significado de negócio
  5. Correção do dimensionamento da memória, do número de cores e do memory overhead dos executors depois de corrigida a distribuição, e não antes
  6. Revisão do número de partições e da colocação dos repartitions para evitar shuffles completos desnecessários

Resultado final

Os jobs noturnos que falhavam intermitentemente por OOM passam a terminar de forma fiável, e os tempos de execução dos stages estabilizam porque nenhuma task carrega sozinha a partição inteira. A alocação de memória do cluster costuma descer, e não subir.

Tecnologias

Apache SparkApache HadoopDelta LakeYARN

Tem um problema de produção com Apache Spark?

Os engenheiros seniores de Apache Spark da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.