Voltar para todos os casos de uso

ConsultoriaMultissetorial

Pagar por compute que está trabalhando

Operador logístico global

Reestruturação do dimensionamento dos warehouses, da política de auto-suspend e do isolamento das cargas de trabalho para alinhar o consumo de créditos ao trabalho que realmente é feito.

Visão geral

O gasto de um operador logístico com o Snowflake crescia mais rápido do que o volume de dados ou a quantidade de usuários, e a área financeira queria uma explicação antes de aprovar o próximo compromisso de consumo. A AceMQ analisou o consumo em relação ao trabalho que cada warehouse realmente executava.

Desafio

A maior parte do crescimento vinha de escolhas estruturais, e não de demanda real. Os warehouses tinham sido aumentados para resolver consultas lentas pontuais e nunca foram reduzidos de volta. O auto-suspend estava configurado com um valor alto o suficiente para que os warehouses ficassem ociosos por longos períodos, ainda gerando cobrança. Várias equipes compartilhavam warehouses, então a contenção levava a novos aumentos de tamanho que não beneficiavam ninguém em particular.

Ambiente

Snowflake na AWS atendendo a business intelligence, transformações dbt e análises ad hoc de várias equipes.

Abordagem

A AceMQ construiu uma atribuição de consumo detalhada por warehouse, carga de trabalho e padrão de consulta, para que as decisões fossem tomadas com base em evidências, e não em médias. Em seguida, o dimensionamento foi definido para cada carga de acordo com seu perfil medido, com o auto-suspend ajustado pelo equilíbrio entre a cobrança em ociosidade e o aquecimento do cache, e não por um valor padrão.

Solução

  1. Atribuição do consumo de créditos por warehouse, carga de trabalho, equipe e padrão de consulta
  2. Right-sizing de cada warehouse com base nos perfis de consulta medidos, e não na pior consulta já executada nele
  3. Ajuste do auto-suspend por warehouse de acordo com o equilíbrio real entre cobrança em ociosidade e aquecimento do result cache
  4. Separação das cargas que disputavam recursos em warehouses dedicados, para que as decisões de dimensionamento deixassem de ser concessões
  5. Uso do escalonamento multi-cluster apenas onde a restrição real era a concorrência, e não o tamanho das consultas
  6. Configuração de resource monitors e de limites por equipe, com alertas antes que os limites sejam atingidos

Resultado obtido

O consumo de créditos caiu de forma significativa sem degradar o desempenho das consultas de nenhuma carga de trabalho, e a curva de crescimento se estabilizou em relação ao volume de dados. Hoje a área financeira tem a atribuição por equipe, então as conversas sobre custo tratam de cargas específicas, e não de um único número agregado.

Tecnologias

SnowflakedbtTerraformAirflow

Precisa de orientação de arquitetura para Snowflake?

Os engenheiros Snowflake sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.