Voltar para todos os casos de uso

AvaliaçãoServiços financeiros / trading

Descobrir quanto de cada tabela as suas consultas realmente leem

Provedor de dados de mercado financeiro

Avaliação das clustering keys, do pruning de micro-partitions e do design de tabelas grandes nas quais as consultas tinham passado a varrer a maior parte dos dados.

Visão geral

Um provedor de dados de mercado tinha tabelas com dezenas de bilhões de linhas em que o custo das consultas tinha crescido de forma desproporcional ao tamanho dos resultados. As clustering keys tinham sido definidas anos antes para padrões de consulta que já tinham mudado. A AceMQ avaliou a eficácia do pruning nas maiores tabelas.

Desafio

Tanto o desempenho quanto o custo no Snowflake dependem de quantas micro-partitions uma consulta precisa varrer. Quando as clustering keys deixam de corresponder aos predicados de filtro, o pruning se degrada silenciosamente: as consultas continuam retornando resultados corretos enquanto varrem cada vez mais dados. O automatic clustering também tem o seu próprio custo em créditos, que precisa ser comparado com as varreduras que ele evita.

Ambiente

Snowflake no Azure com vários anos de dados tick e de referência, consultados por cargas de pesquisa e de relatórios.

Abordagem

A AceMQ mediu as partições varridas em relação ao total de partições para os padrões de consulta dominantes em cada tabela grande, o que dá uma leitura direta da eficácia do pruning. As clustering keys candidatas foram então avaliadas tanto pelas varreduras que evitariam quanto pelos créditos de reclustering que consumiriam.

Solução

  1. Medição das partições varridas versus o total de partições por padrão de consulta, para quantificar a eficácia real do pruning
  2. Comparação das clustering keys atuais com os predicados de filtro que as consultas usam hoje, e não na época do design
  3. Avaliação das clustering keys candidatas tanto pela redução de varreduras quanto pelo custo contínuo em créditos de reclustering
  4. Avaliação da clustering depth nas maiores tabelas, para identificar onde o reclustering não estava acompanhando o ritmo
  5. Revisão do design das tabelas nos casos em que tabelas particionadas ou search optimization se encaixam melhor que o clustering
  6. Entrega de recomendações por tabela, com a redução de varredura esperada e o impacto em créditos indicados para cada uma

Resultado obtido

O provedor recebeu uma visão, tabela por tabela, de onde o pruning tinha se degradado e quanto isso custava, com recomendações comparadas aos créditos de reclustering, e não apresentadas como se fossem gratuitas. As maiores tabelas foram priorizadas, e nelas a recuperação do pruning reduziu de forma expressiva as partições varridas.

Tecnologias

SnowflakedbtAirflowTerraform

Pronto para um health check do Snowflake?

Os engenheiros Snowflake sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.