Visão geral
Ambientes Spark crescem por acúmulo. Jobs são copiados, as requisições de recursos são infladas uma vez para cumprir um prazo e nunca mais revisadas, e os pipelines sobrevivem aos relatórios que alimentavam. A AceMQ levanta o perfil de todo o ambiente e devolve uma lista priorizada do que corrigir, do que consolidar e do que apagar.
Desafio
Ninguém tem uma visão completa de quais jobs rodam, quanto custam e quem consome o resultado deles. A quantidade de executors e as configurações de memória foram escolhidas de forma defensiva, e não medidas. Vários pipelines calculam praticamente o mesmo agregado a partir da mesma origem. Uma parcela significativa dos jobs processa volumes pequenos o suficiente para que o overhead do Spark seja maior que o próprio trabalho, e rodaria mais rápido como um processo em um único nó.
Ambiente
Apache Spark em Kubernetes, EMR, Dataproc ou Databricks, com jobs orquestrados pelo Airflow ou por um scheduler nativo.
Abordagem
A AceMQ coleta os event logs e o histórico do scheduler em todo o ambiente para montar perfis de tempo de execução, alocação de recursos e utilização de cada job. Os recursos alocados são comparados com o pico de uso observado para encontrar superdimensionamento, e a linhagem dos resultados é rastreada para encontrar pipelines cujos consumidores já não existem. Cada achado vem com uma ação recomendada específica, e não com uma observação genérica.
Solução
- Inventário de jobs de todo o ambiente com tempo de execução, recursos alocados, pico de utilização e custo por execução
- Análise de superdimensionamento comparando a memória e os cores de executor solicitados com o pico de uso medido
- Detecção de pipelines duplicados e quase duplicados por meio da linhagem de origens e resultados
- Identificação de jobs de baixo volume em que o overhead do Spark supera o trabalho e um engine de nó único é mais rápido e mais barato
- Detecção de pipelines órfãos cujos consumidores downstream já não leem o resultado
- Backlog de correções priorizado pela economia obtida em relação ao esforço de engenharia necessário
Resultado obtido
Os clientes recebem um backlog concreto e ordenado, e não um relatório genérico de eficiência. A maioria dos ambientes tem trabalho superdimensionado e órfão suficiente para reduzir substancialmente o gasto com processamento antes que qualquer job seja reescrito.