Panoramica
Un fornitore di dati di mercato aveva tabelle con decine di miliardi di righe in cui il costo delle query era cresciuto in modo sproporzionato rispetto alla dimensione dei risultati. Le clustering key erano state definite anni prima sulla base di pattern di query che nel frattempo erano cambiati. AceMQ ha valutato l'efficacia del pruning sulle tabelle più grandi.
Sfida
In Snowflake prestazioni e costi dipendono entrambi da quante micro-partizioni una query deve scansionare. Quando le clustering key smettono di corrispondere ai predicati di filtro, il pruning si degrada senza fare rumore: le query continuano a restituire risultati corretti mentre scansionano progressivamente sempre più dati. Anche l'automatic clustering ha un proprio costo in crediti, da soppesare rispetto alle scansioni che evita.
Ambiente
Snowflake su Azure con dati tick e di riferimento pluriennali, interrogati da workload di ricerca e di reporting.
Approccio
AceMQ ha misurato le partizioni scansionate rispetto alle partizioni totali per i pattern di query dominanti su ciascuna tabella di grandi dimensioni, ottenendo una lettura diretta dell'efficacia del pruning. Le clustering key candidate sono state poi valutate sia in base alle scansioni che avrebbero evitato sia in base ai crediti di reclustering che avrebbero consumato.
Soluzione
- Misurate le partizioni scansionate rispetto alle partizioni totali per ciascun pattern di query, per quantificare l'efficacia reale del pruning
- Confronto delle clustering key attuali con i predicati di filtro che le query usano oggi, anziché con quelli previsti in fase di design
- Valutazione delle clustering key candidate sia sulla riduzione delle scansioni sia sul costo continuativo in crediti di reclustering
- Valutazione della clustering depth sulle tabelle più grandi, per individuare dove il reclustering non teneva il passo
- Revisione del design delle tabelle per i casi in cui tabelle partizionate o search optimization fossero più adatte del clustering
- Raccomandazioni tabella per tabella, ciascuna con la riduzione delle scansioni attesa e l'impatto sui crediti
Esito
Il fornitore ha ottenuto, tabella per tabella, un quadro di dove il pruning si era degradato e di quanto stesse costando, con raccomandazioni ponderate rispetto ai crediti di reclustering anziché presentate come gratuite. La priorità è andata alle tabelle più grandi, dove il ripristino del pruning ha ridotto in modo sostanziale le partizioni scansionate.