Visão geral
Um provedor de dados de mercado tinha tabelas com dezenas de bilhões de linhas em que o custo das consultas tinha crescido de forma desproporcional ao tamanho dos resultados. As clustering keys tinham sido definidas anos antes para padrões de consulta que já tinham mudado. A AceMQ avaliou a eficácia do pruning nas maiores tabelas.
Desafio
Tanto o desempenho quanto o custo no Snowflake dependem de quantas micro-partitions uma consulta precisa varrer. Quando as clustering keys deixam de corresponder aos predicados de filtro, o pruning se degrada silenciosamente: as consultas continuam retornando resultados corretos enquanto varrem cada vez mais dados. O automatic clustering também tem o seu próprio custo em créditos, que precisa ser comparado com as varreduras que ele evita.
Ambiente
Snowflake no Azure com vários anos de dados tick e de referência, consultados por cargas de pesquisa e de relatórios.
Abordagem
A AceMQ mediu as partições varridas em relação ao total de partições para os padrões de consulta dominantes em cada tabela grande, o que dá uma leitura direta da eficácia do pruning. As clustering keys candidatas foram então avaliadas tanto pelas varreduras que evitariam quanto pelos créditos de reclustering que consumiriam.
Solução
- Medição das partições varridas versus o total de partições por padrão de consulta, para quantificar a eficácia real do pruning
- Comparação das clustering keys atuais com os predicados de filtro que as consultas usam hoje, e não na época do design
- Avaliação das clustering keys candidatas tanto pela redução de varreduras quanto pelo custo contínuo em créditos de reclustering
- Avaliação da clustering depth nas maiores tabelas, para identificar onde o reclustering não estava acompanhando o ritmo
- Revisão do design das tabelas nos casos em que tabelas particionadas ou search optimization se encaixam melhor que o clustering
- Entrega de recomendações por tabela, com a redução de varredura esperada e o impacto em créditos indicados para cada uma
Resultado obtido
O provedor recebeu uma visão, tabela por tabela, de onde o pruning tinha se degradado e quanto isso custava, com recomendações comparadas aos créditos de reclustering, e não apresentadas como se fossem gratuitas. As maiores tabelas foram priorizadas, e nelas a recuperação do pruning reduziu de forma expressiva as partições varridas.