Retour à tous les cas d'usage

AuditServices financiers / trading

Mesurer la part de chaque table que vos requêtes lisent réellement

Fournisseur de données de marchés financiers

Audit des clés de clustering, du pruning des micro-partitions et de la conception des tables sur de grandes tables dont les requêtes s'étaient mises à parcourir l'essentiel des données.

Présentation

Un fournisseur de données de marché disposait de tables de plusieurs dizaines de milliards de lignes dont le coût des requêtes avait augmenté sans commune mesure avec la taille des résultats. Les clés de clustering avaient été définies des années plus tôt, pour des schémas de requêtes qui avaient changé depuis. AceMQ a évalué l'efficacité du pruning sur les plus grandes tables.

Défi

Dans Snowflake, la performance comme le coût dépendent du nombre de micro-partitions qu'une requête doit parcourir. Quand les clés de clustering ne correspondent plus aux prédicats de filtrage, le pruning se dégrade sans bruit : les requêtes continuent de renvoyer des résultats corrects tout en parcourant toujours plus de données. Le clustering automatique a lui aussi un coût en crédits, qu'il faut mettre en balance avec les parcours qu'il évite.

Environnement

Snowflake sur Azure, hébergeant plusieurs années de données tick et de données de référence interrogées par des charges de recherche et de reporting.

Approche

AceMQ a mesuré, pour les schémas de requêtes dominants sur chaque grande table, le nombre de partitions parcourues rapporté au nombre total de partitions, ce qui donne une mesure directe de l'efficacité du pruning. Les clés de clustering candidates ont ensuite été évaluées à la fois sur les parcours qu'elles éviteraient et sur les crédits de reclustering qu'elles consommeraient.

Solution

  1. Mesure des partitions parcourues rapportées au total des partitions, par schéma de requête, pour quantifier l'efficacité réelle du pruning
  2. Comparaison des clés de clustering actuelles avec les prédicats de filtrage utilisés aujourd'hui par les requêtes, et non lors de la conception
  3. Évaluation des clés de clustering candidates à la fois sur la réduction des parcours et sur le coût récurrent en crédits de reclustering
  4. Évaluation de la profondeur de clustering des plus grandes tables, pour repérer celles où le reclustering ne suivait pas le rythme
  5. Revue de la conception des tables pour les cas où des tables partitionnées ou le search optimization conviennent mieux que le clustering
  6. Recommandations table par table, avec pour chacune la réduction de parcours attendue et l'impact en crédits

Résultat obtenu

Le fournisseur dispose d'une vision table par table des endroits où le pruning s'était dégradé et de ce que cela lui coûtait, avec des recommandations mises en balance avec les crédits de reclustering au lieu d'être présentées comme gratuites. La priorité a été donnée aux plus grandes tables, où le rétablissement du pruning a nettement réduit le nombre de partitions parcourues.

Technologies

SnowflakedbtAirflowTerraform

Prêt pour un bilan de santé Snowflake ?

Les ingénieurs Snowflake seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.