Panoramica
La spesa Snowflake di un fornitore di servizi logistici cresceva più rapidamente del volume di dati e del numero di utenti, e l'area finance voleva una spiegazione prima di approvare il successivo impegno di spesa. AceMQ ha analizzato i consumi rispetto al lavoro effettivamente svolto da ciascun warehouse.
Sfida
Gran parte della crescita derivava da scelte strutturali più che da una domanda reale. I warehouse erano stati ingranditi per risolvere singole query lente e mai più ridimensionati. L'auto-suspend era impostato su valori così alti che i warehouse restavano inattivi a lungo continuando a essere fatturati. Diversi team condividevano gli stessi warehouse, per cui la contesa portava a ulteriori aumenti di dimensione di cui non beneficiava nessuno in particolare.
Ambiente
Snowflake su AWS al servizio di business intelligence, trasformazioni dbt e analisi ad hoc per più team.
Approccio
AceMQ ha costruito un'attribuzione dei consumi fino al livello di warehouse, workload e pattern di query, così che le decisioni potessero basarsi su dati concreti anziché su medie. Il dimensionamento è stato poi definito per ciascun workload in base al suo profilo misurato, con l'auto-suspend tarato sul compromesso tra fatturazione a vuoto e cache calda invece che su un valore predefinito.
Soluzione
- Costruita l'attribuzione del consumo di credit per warehouse, workload, team e pattern di query
- Ciascun warehouse ridimensionato in base ai profili di query misurati, anziché sulla query peggiore mai eseguita
- Auto-suspend tarato per ciascun warehouse sul reale compromesso tra fatturazione a vuoto e result cache calda
- Workload in contesa separati su warehouse dedicati, così che le decisioni di dimensionamento non fossero più compromessi
- Scaling multi-cluster applicato solo dove il vero vincolo era la concorrenza, non la dimensione delle query
- Impostati resource monitor e guardrail per team, con alert prima del raggiungimento delle soglie
Esito
Il consumo di credit è calato in modo significativo senza peggiorare le prestazioni delle query per alcun workload, e la curva di crescita si è appiattita rispetto al volume di dati. L'area finance dispone ora di un'attribuzione per team, per cui le discussioni sui costi fanno riferimento a workload specifici anziché a un unico numero aggregato.