Überblick
Ein Anbieter von Marktdaten hatte Tabellen mit zig Milliarden Zeilen, bei denen die Abfragekosten in keinem Verhältnis mehr zur Größe des Ergebnisses standen. Die Clustering Keys waren Jahre zuvor für Abfragemuster definiert worden, die sich inzwischen geändert hatten. AceMQ bewertete die Wirksamkeit des Prunings auf den größten Tabellen.
Herausforderung
Performance und Kosten in Snowflake hängen beide davon ab, wie viele Micro-Partitions eine Abfrage scannen muss. Passen die Clustering Keys nicht mehr zu den Filterprädikaten, verschlechtert sich das Pruning unbemerkt: Die Abfragen liefern weiterhin korrekte Ergebnisse, scannen aber immer mehr Daten. Automatic Clustering verursacht zudem eigene Credit-Kosten, die gegen die eingesparten Scans abgewogen werden müssen.
Umgebung
Snowflake auf Azure mit mehrjährigen Tick- und Referenzdaten, abgefragt von Research- und Reporting-Workloads.
Vorgehen
AceMQ maß für die dominierenden Abfragemuster auf jeder großen Tabelle die gescannten Partitionen im Verhältnis zur Gesamtzahl – ein direkter Messwert für die Wirksamkeit des Prunings. Anschließend wurden mögliche Clustering Keys danach bewertet, wie viele Scans sie einsparen und wie viele Reclustering-Credits sie verbrauchen würden.
Lösung
- Gescannte Partitionen im Verhältnis zur Gesamtzahl je Abfragemuster gemessen, um die tatsächliche Wirksamkeit des Prunings zu beziffern
- Aktuelle Clustering Keys mit den Filterprädikaten verglichen, die Abfragen heute nutzen – nicht mit denen zum Zeitpunkt des Designs
- Mögliche Clustering Keys sowohl nach Scan-Reduktion als auch nach laufenden Reclustering-Kosten in Credits bewertet
- Clustering Depth auf den größten Tabellen bewertet, um zu erkennen, wo das Reclustering nicht Schritt hielt
- Tabellendesign auf Fälle geprüft, in denen partitionierte Tabellen oder Search Optimization besser passen als Clustering
- Empfehlungen je Tabelle geliefert, jeweils mit erwarteter Scan-Reduktion und Auswirkung auf den Credit-Verbrauch
Resultat
Der Anbieter erhielt je Tabelle ein Bild davon, wo sich das Pruning verschlechtert hatte und was das kostete – mit Empfehlungen, die gegen die Reclustering-Credits abgewogen waren, statt als kostenlos dargestellt zu werden. Priorisiert wurden die größten Tabellen; dort reduzierte das wiederhergestellte Pruning die gescannten Partitionen erheblich.