Voltar para todos os casos de uso

AvaliaçãoSoftware / plataformas digitais

Descubra quais jobs do Spark justificam o processamento que consomem e quais não

Plataforma de streaming de mídia

Levantamento do perfil de um ambiente Spark para encontrar jobs superdimensionados, pipelines redundantes e cargas de trabalho que seriam mais bem atendidas por algo que não o Spark.

Visão geral

Ambientes Spark crescem por acúmulo. Jobs são copiados, as requisições de recursos são infladas uma vez para cumprir um prazo e nunca mais revisadas, e os pipelines sobrevivem aos relatórios que alimentavam. A AceMQ levanta o perfil de todo o ambiente e devolve uma lista priorizada do que corrigir, do que consolidar e do que apagar.

Desafio

Ninguém tem uma visão completa de quais jobs rodam, quanto custam e quem consome o resultado deles. A quantidade de executors e as configurações de memória foram escolhidas de forma defensiva, e não medidas. Vários pipelines calculam praticamente o mesmo agregado a partir da mesma origem. Uma parcela significativa dos jobs processa volumes pequenos o suficiente para que o overhead do Spark seja maior que o próprio trabalho, e rodaria mais rápido como um processo em um único nó.

Ambiente

Apache Spark em Kubernetes, EMR, Dataproc ou Databricks, com jobs orquestrados pelo Airflow ou por um scheduler nativo.

Abordagem

A AceMQ coleta os event logs e o histórico do scheduler em todo o ambiente para montar perfis de tempo de execução, alocação de recursos e utilização de cada job. Os recursos alocados são comparados com o pico de uso observado para encontrar superdimensionamento, e a linhagem dos resultados é rastreada para encontrar pipelines cujos consumidores já não existem. Cada achado vem com uma ação recomendada específica, e não com uma observação genérica.

Solução

  1. Inventário de jobs de todo o ambiente com tempo de execução, recursos alocados, pico de utilização e custo por execução
  2. Análise de superdimensionamento comparando a memória e os cores de executor solicitados com o pico de uso medido
  3. Detecção de pipelines duplicados e quase duplicados por meio da linhagem de origens e resultados
  4. Identificação de jobs de baixo volume em que o overhead do Spark supera o trabalho e um engine de nó único é mais rápido e mais barato
  5. Detecção de pipelines órfãos cujos consumidores downstream já não leem o resultado
  6. Backlog de correções priorizado pela economia obtida em relação ao esforço de engenharia necessário

Resultado obtido

Os clientes recebem um backlog concreto e ordenado, e não um relatório genérico de eficiência. A maioria dos ambientes tem trabalho superdimensionado e órfão suficiente para reduzir substancialmente o gasto com processamento antes que qualquer job seja reescrito.

Tecnologias

Apache SparkDatabricksDelta LakeKubernetes

Pronto para um health check do Apache Spark?

Os engenheiros Apache Spark sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.