Visão geral
O Databricks cobra por DBU, e o mesmo notebook que custa alguns dólares em um job cluster pode custar várias vezes isso em um cluster all-purpose interativo que fica ligado o dia todo. A AceMQ audita o uso real dos clusters em relação às cargas de trabalho que rodam neles e entrega um plano de correção com custos estimados.
Desafio
Equipes que começaram em notebooks tendem a manter o ETL de produção em clusters all-purpose compartilhados porque é cômodo. Os mínimos de autoscaling são definidos altos para evitar cold starts, os timeouts de inatividade são desligados para que ninguém perca a sessão, e as cluster policies ou não existem ou são permissivas demais para impor qualquer coisa. O resultado é uma fatura que cresce mais rápido que o volume de dados, sem atribuição clara a uma equipe ou a um pipeline.
Ambiente
Databricks na AWS, no Azure ou no GCP, com cargas de trabalho que incluem notebooks, jobs agendados e pipelines de Delta Live Tables.
Abordagem
A AceMQ extrai as system tables e os logs de eventos dos clusters para montar um perfil de DBU por carga de trabalho, separando a exploração interativa do trabalho de produção agendado. Cada carga de trabalho cara é analisada para saber se o custo vem da escolha de processamento, do runtime ou do layout dos dados. Em seguida, definimos cluster policies e a configuração de instance pools que tornam o caminho barato o caminho padrão, em vez de depender da disciplina das equipes.
Solução
- Atribuição de DBUs por carga de trabalho, equipe e tipo de cluster a partir das system tables e dos logs de eventos dos clusters
- Migração dos pipelines agendados de clusters all-purpose para job clusters com ciclo de vida efêmero
- Revisão do piso de autoscaling, do timeout de inatividade e da família de instâncias, incluindo a adequação de Photon e de instâncias spot para cada carga de trabalho
- Cluster policies que restringem tipos de nó, quantidade de workers e versões do DBR por workspace e por equipe
- Desenho de instance pools para reduzir o custo de cold start sem manter capacidade aquecida durante a noite
- Modelo de tags e de chargeback para que o gasto com a plataforma seja atribuído à equipe que o gerou
Resultado obtido
Os clientes recebem uma lista priorizada das cargas de trabalho responsáveis pela maior parte do gasto com DBUs e um conjunto de policies que impede que novos trabalhos repitam o mesmo padrão. A maioria dos projetos identifica processamento ocioso e superdimensionado suficiente para reduzir de forma significativa o gasto com a plataforma sem alterar a lógica de um único pipeline.