Torna a tutti i casi d'uso

ConsulenzaTrasversale

Pagare solo il compute che lavora davvero

Fornitore globale di servizi logistici

Ristrutturazione del dimensionamento dei warehouse, della policy di auto-suspend e dell'isolamento dei workload per allineare il consumo di credit al lavoro effettivamente svolto.

Panoramica

La spesa Snowflake di un fornitore di servizi logistici cresceva più rapidamente del volume di dati e del numero di utenti, e l'area finance voleva una spiegazione prima di approvare il successivo impegno di spesa. AceMQ ha analizzato i consumi rispetto al lavoro effettivamente svolto da ciascun warehouse.

Sfida

Gran parte della crescita derivava da scelte strutturali più che da una domanda reale. I warehouse erano stati ingranditi per risolvere singole query lente e mai più ridimensionati. L'auto-suspend era impostato su valori così alti che i warehouse restavano inattivi a lungo continuando a essere fatturati. Diversi team condividevano gli stessi warehouse, per cui la contesa portava a ulteriori aumenti di dimensione di cui non beneficiava nessuno in particolare.

Ambiente

Snowflake su AWS al servizio di business intelligence, trasformazioni dbt e analisi ad hoc per più team.

Approccio

AceMQ ha costruito un'attribuzione dei consumi fino al livello di warehouse, workload e pattern di query, così che le decisioni potessero basarsi su dati concreti anziché su medie. Il dimensionamento è stato poi definito per ciascun workload in base al suo profilo misurato, con l'auto-suspend tarato sul compromesso tra fatturazione a vuoto e cache calda invece che su un valore predefinito.

Soluzione

  1. Costruita l'attribuzione del consumo di credit per warehouse, workload, team e pattern di query
  2. Ciascun warehouse ridimensionato in base ai profili di query misurati, anziché sulla query peggiore mai eseguita
  3. Auto-suspend tarato per ciascun warehouse sul reale compromesso tra fatturazione a vuoto e result cache calda
  4. Workload in contesa separati su warehouse dedicati, così che le decisioni di dimensionamento non fossero più compromessi
  5. Scaling multi-cluster applicato solo dove il vero vincolo era la concorrenza, non la dimensione delle query
  6. Impostati resource monitor e guardrail per team, con alert prima del raggiungimento delle soglie

Esito

Il consumo di credit è calato in modo significativo senza peggiorare le prestazioni delle query per alcun workload, e la curva di crescita si è appiattita rispetto al volume di dati. L'area finance dispone ora di un'attribuzione per team, per cui le discussioni sui costi fanno riferimento a workload specifici anziché a un unico numero aggregato.

Tecnologie

SnowflakedbtTerraformAirflow

Vi servono indicazioni sull'architettura Snowflake?

Gli ingegneri Snowflake senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.