Torna a tutti i casi d'uso

AssessmentServizi finanziari / Trading

Scoprire quanta parte di ogni tabella leggono davvero le vostre query

Fornitore di dati di mercato finanziari

Assessment di clustering key, pruning delle micro-partizioni e design delle tabelle su tabelle di grandi dimensioni in cui le query avevano cominciato a scansionare la maggior parte dei dati.

Panoramica

Un fornitore di dati di mercato aveva tabelle con decine di miliardi di righe in cui il costo delle query era cresciuto in modo sproporzionato rispetto alla dimensione dei risultati. Le clustering key erano state definite anni prima sulla base di pattern di query che nel frattempo erano cambiati. AceMQ ha valutato l'efficacia del pruning sulle tabelle più grandi.

Sfida

In Snowflake prestazioni e costi dipendono entrambi da quante micro-partizioni una query deve scansionare. Quando le clustering key smettono di corrispondere ai predicati di filtro, il pruning si degrada senza fare rumore: le query continuano a restituire risultati corretti mentre scansionano progressivamente sempre più dati. Anche l'automatic clustering ha un proprio costo in crediti, da soppesare rispetto alle scansioni che evita.

Ambiente

Snowflake su Azure con dati tick e di riferimento pluriennali, interrogati da workload di ricerca e di reporting.

Approccio

AceMQ ha misurato le partizioni scansionate rispetto alle partizioni totali per i pattern di query dominanti su ciascuna tabella di grandi dimensioni, ottenendo una lettura diretta dell'efficacia del pruning. Le clustering key candidate sono state poi valutate sia in base alle scansioni che avrebbero evitato sia in base ai crediti di reclustering che avrebbero consumato.

Soluzione

  1. Misurate le partizioni scansionate rispetto alle partizioni totali per ciascun pattern di query, per quantificare l'efficacia reale del pruning
  2. Confronto delle clustering key attuali con i predicati di filtro che le query usano oggi, anziché con quelli previsti in fase di design
  3. Valutazione delle clustering key candidate sia sulla riduzione delle scansioni sia sul costo continuativo in crediti di reclustering
  4. Valutazione della clustering depth sulle tabelle più grandi, per individuare dove il reclustering non teneva il passo
  5. Revisione del design delle tabelle per i casi in cui tabelle partizionate o search optimization fossero più adatte del clustering
  6. Raccomandazioni tabella per tabella, ciascuna con la riduzione delle scansioni attesa e l'impatto sui crediti

Esito

Il fornitore ha ottenuto, tabella per tabella, un quadro di dove il pruning si era degradato e di quanto stesse costando, con raccomandazioni ponderate rispetto ai crediti di reclustering anziché presentate come gratuite. La priorità è andata alle tabelle più grandi, dove il ripristino del pruning ha ridotto in modo sostanziale le partizioni scansionate.

Tecnologie

SnowflakedbtAirflowTerraform

Pronti per un health check di Snowflake?

Gli ingegneri Snowflake senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.