Voltar para todos os casos de uso

AvaliaçãoServiços financeiros / pagamentos

Descubra para onde os DBUs realmente vão e pare de pagar por processamento ocioso

Processadora global de pagamentos

Dimensionamento correto do processamento no Databricks, tirando o trabalho agendado dos clusters all-purpose e ajustando autoscaling, escolha de instâncias e timeouts de inatividade.

Visão geral

O Databricks cobra por DBU, e o mesmo notebook que custa alguns dólares em um job cluster pode custar várias vezes isso em um cluster all-purpose interativo que fica ligado o dia todo. A AceMQ audita o uso real dos clusters em relação às cargas de trabalho que rodam neles e entrega um plano de correção com custos estimados.

Desafio

Equipes que começaram em notebooks tendem a manter o ETL de produção em clusters all-purpose compartilhados porque é cômodo. Os mínimos de autoscaling são definidos altos para evitar cold starts, os timeouts de inatividade são desligados para que ninguém perca a sessão, e as cluster policies ou não existem ou são permissivas demais para impor qualquer coisa. O resultado é uma fatura que cresce mais rápido que o volume de dados, sem atribuição clara a uma equipe ou a um pipeline.

Ambiente

Databricks na AWS, no Azure ou no GCP, com cargas de trabalho que incluem notebooks, jobs agendados e pipelines de Delta Live Tables.

Abordagem

A AceMQ extrai as system tables e os logs de eventos dos clusters para montar um perfil de DBU por carga de trabalho, separando a exploração interativa do trabalho de produção agendado. Cada carga de trabalho cara é analisada para saber se o custo vem da escolha de processamento, do runtime ou do layout dos dados. Em seguida, definimos cluster policies e a configuração de instance pools que tornam o caminho barato o caminho padrão, em vez de depender da disciplina das equipes.

Solução

  1. Atribuição de DBUs por carga de trabalho, equipe e tipo de cluster a partir das system tables e dos logs de eventos dos clusters
  2. Migração dos pipelines agendados de clusters all-purpose para job clusters com ciclo de vida efêmero
  3. Revisão do piso de autoscaling, do timeout de inatividade e da família de instâncias, incluindo a adequação de Photon e de instâncias spot para cada carga de trabalho
  4. Cluster policies que restringem tipos de nó, quantidade de workers e versões do DBR por workspace e por equipe
  5. Desenho de instance pools para reduzir o custo de cold start sem manter capacidade aquecida durante a noite
  6. Modelo de tags e de chargeback para que o gasto com a plataforma seja atribuído à equipe que o gerou

Resultado obtido

Os clientes recebem uma lista priorizada das cargas de trabalho responsáveis pela maior parte do gasto com DBUs e um conjunto de policies que impede que novos trabalhos repitam o mesmo padrão. A maioria dos projetos identifica processamento ocioso e superdimensionado suficiente para reduzir de forma significativa o gasto com a plataforma sem alterar a lógica de um único pipeline.

Tecnologias

DatabricksApache SparkDelta LakeTerraform

Pronto para um health check do Databricks?

Os engenheiros Databricks sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.