Retour à tous les cas d'usage

ConseilMultisectoriel

Payer pour de la puissance de calcul qui travaille vraiment

Prestataire logistique international

Restructuration du dimensionnement des warehouses, de la politique d'auto-suspend et de l'isolation des charges pour aligner la consommation de crédits sur le travail réellement effectué.

Présentation

Les dépenses Snowflake d'un prestataire logistique augmentaient plus vite que son volume de données ou son nombre d'utilisateurs, et la direction financière voulait une explication avant d'approuver le prochain engagement. AceMQ a analysé la consommation au regard du travail réellement effectué par chaque warehouse.

Défi

L'essentiel de la hausse venait de choix structurels plutôt que d'une demande réelle. Des warehouses avaient été agrandis pour corriger des requêtes lentes isolées, sans jamais être réduits ensuite. L'auto-suspend était réglé si haut que les warehouses restaient longtemps inactifs tout en continuant d'être facturés. Plusieurs équipes partageaient les mêmes warehouses, et la contention entraînait de nouvelles augmentations de taille qui ne profitaient à personne en particulier.

Environnement

Snowflake sur AWS au service de la business intelligence, des transformations dbt et des analyses ad hoc de plusieurs équipes.

Approche

AceMQ a mis en place une attribution de la consommation jusqu'au niveau du warehouse, de la charge et du type de requête, afin que les décisions reposent sur des faits plutôt que sur des moyennes. Le dimensionnement a ensuite été fixé charge par charge selon son profil mesuré, avec un auto-suspend réglé en fonction du compromis entre facturation à vide et cache chaud, plutôt que sur une valeur par défaut.

Solution

  1. Mise en place d'une attribution de la consommation de crédits par warehouse, charge, équipe et type de requête
  2. Redimensionnement de chaque warehouse d'après les profils de requêtes mesurés, et non d'après la pire requête jamais exécutée dessus
  3. Réglage de l'auto-suspend par warehouse en fonction du compromis réel entre facturation à vide et cache de résultats chaud
  4. Séparation des charges concurrentes sur des warehouses dédiés pour que les décisions de dimensionnement cessent d'être des compromis
  5. Recours à la mise à l'échelle multicluster uniquement là où la concurrence, et non la taille des requêtes, était la véritable contrainte
  6. Mise en place de resource monitors et de garde-fous par équipe, avec des alertes avant que les seuils ne soient atteints

Résultat obtenu

La consommation de crédits a nettement baissé sans dégrader les performances des requêtes pour aucune charge, et la courbe de croissance s'est aplatie par rapport au volume de données. La direction financière dispose désormais d'une attribution par équipe : les discussions sur les coûts portent sur des charges précises plutôt que sur un chiffre global unique.

Technologies

SnowflakedbtTerraformAirflow

Besoin de conseils en architecture Snowflake ?

Les ingénieurs Snowflake seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.