Überblick
Die Snowflake-Ausgaben eines Logistikdienstleisters wuchsen schneller als Datenvolumen und Nutzerzahl, und die Finanzabteilung wollte eine Erklärung, bevor sie die nächste Commitment-Stufe freigab. AceMQ analysierte den Verbrauch im Verhältnis zur Arbeit, die jedes Warehouse tatsächlich leistete.
Herausforderung
Der größte Teil des Wachstums ging auf strukturelle Entscheidungen zurück, nicht auf echten Bedarf. Warehouses waren hochskaliert worden, um einzelne langsame Abfragen zu beheben, und wurden nie wieder verkleinert. Auto-Suspend war so hoch eingestellt, dass Warehouses lange im Leerlauf liefen und dabei weiter abgerechnet wurden. Mehrere Teams teilten sich Warehouses, sodass Ressourcenkonkurrenz weitere Größenerhöhungen auslöste, von denen niemand konkret profitierte.
Umgebung
Snowflake auf AWS für Business Intelligence, dbt-Transformationen und Ad-hoc-Analysen über mehrere Teams hinweg.
Vorgehen
AceMQ baute eine Verbrauchszuordnung bis auf Ebene von Warehouse, Workload und Abfragemuster auf, damit Entscheidungen auf Fakten statt auf Durchschnittswerten beruhen. Anschließend wurde die Größe je Workload anhand ihres gemessenen Profils festgelegt und Auto-Suspend auf den Zielkonflikt zwischen Leerlaufkosten und warmem Cache abgestimmt statt auf einen Standardwert.
Lösung
- Zuordnung des Credit-Verbrauchs nach Warehouse, Workload, Team und Abfragemuster aufgebaut
- Jedes Warehouse anhand gemessener Abfrageprofile dimensioniert statt anhand der schlechtesten Abfrage, die je darauf lief
- Auto-Suspend je Warehouse auf den realen Zielkonflikt zwischen Leerlaufkosten und warmem Result Cache abgestimmt
- Konkurrierende Workloads auf dedizierte Warehouses verteilt, damit Größenentscheidungen keine Kompromisse mehr sind
- Multi-Cluster-Skalierung nur dort eingesetzt, wo tatsächlich die Concurrency und nicht die Abfragegröße der Engpass war
- Resource Monitors und Leitplanken pro Team eingerichtet, mit Alarmierung, bevor Schwellenwerte erreicht werden
Resultat
Der Credit-Verbrauch sank spürbar, ohne die Abfrageperformance irgendeines Workloads zu verschlechtern, und die Wachstumskurve verläuft im Verhältnis zum Datenvolumen flacher. Die Finanzabteilung verfügt jetzt über eine Zuordnung nach Teams, sodass sich Kostengespräche auf konkrete Workloads beziehen statt auf eine einzige Gesamtsumme.