Visão geral
O gasto de um operador logístico com o Snowflake crescia mais rápido do que o volume de dados ou a quantidade de usuários, e a área financeira queria uma explicação antes de aprovar o próximo compromisso de consumo. A AceMQ analisou o consumo em relação ao trabalho que cada warehouse realmente executava.
Desafio
A maior parte do crescimento vinha de escolhas estruturais, e não de demanda real. Os warehouses tinham sido aumentados para resolver consultas lentas pontuais e nunca foram reduzidos de volta. O auto-suspend estava configurado com um valor alto o suficiente para que os warehouses ficassem ociosos por longos períodos, ainda gerando cobrança. Várias equipes compartilhavam warehouses, então a contenção levava a novos aumentos de tamanho que não beneficiavam ninguém em particular.
Ambiente
Snowflake na AWS atendendo a business intelligence, transformações dbt e análises ad hoc de várias equipes.
Abordagem
A AceMQ construiu uma atribuição de consumo detalhada por warehouse, carga de trabalho e padrão de consulta, para que as decisões fossem tomadas com base em evidências, e não em médias. Em seguida, o dimensionamento foi definido para cada carga de acordo com seu perfil medido, com o auto-suspend ajustado pelo equilíbrio entre a cobrança em ociosidade e o aquecimento do cache, e não por um valor padrão.
Solução
- Atribuição do consumo de créditos por warehouse, carga de trabalho, equipe e padrão de consulta
- Right-sizing de cada warehouse com base nos perfis de consulta medidos, e não na pior consulta já executada nele
- Ajuste do auto-suspend por warehouse de acordo com o equilíbrio real entre cobrança em ociosidade e aquecimento do result cache
- Separação das cargas que disputavam recursos em warehouses dedicados, para que as decisões de dimensionamento deixassem de ser concessões
- Uso do escalonamento multi-cluster apenas onde a restrição real era a concorrência, e não o tamanho das consultas
- Configuração de resource monitors e de limites por equipe, com alertas antes que os limites sejam atingidos
Resultado obtido
O consumo de créditos caiu de forma significativa sem degradar o desempenho das consultas de nenhuma carga de trabalho, e a curva de crescimento se estabilizou em relação ao volume de dados. Hoje a área financeira tem a atribuição por equipe, então as conversas sobre custo tratam de cargas específicas, e não de um único número agregado.