Zurück zu allen Kundenbeispielen

BeratungBranchenübergreifend

Nur für Compute zahlen, das auch arbeitet

Globaler Logistikdienstleister

Neuaufstellung von Warehouse-Dimensionierung, Auto-Suspend-Richtlinie und Workload-Isolation, damit der Credit-Verbrauch zur tatsächlich geleisteten Arbeit passt.

Überblick

Die Snowflake-Ausgaben eines Logistikdienstleisters wuchsen schneller als Datenvolumen und Nutzerzahl, und die Finanzabteilung wollte eine Erklärung, bevor sie die nächste Commitment-Stufe freigab. AceMQ analysierte den Verbrauch im Verhältnis zur Arbeit, die jedes Warehouse tatsächlich leistete.

Herausforderung

Der größte Teil des Wachstums ging auf strukturelle Entscheidungen zurück, nicht auf echten Bedarf. Warehouses waren hochskaliert worden, um einzelne langsame Abfragen zu beheben, und wurden nie wieder verkleinert. Auto-Suspend war so hoch eingestellt, dass Warehouses lange im Leerlauf liefen und dabei weiter abgerechnet wurden. Mehrere Teams teilten sich Warehouses, sodass Ressourcenkonkurrenz weitere Größenerhöhungen auslöste, von denen niemand konkret profitierte.

Umgebung

Snowflake auf AWS für Business Intelligence, dbt-Transformationen und Ad-hoc-Analysen über mehrere Teams hinweg.

Vorgehen

AceMQ baute eine Verbrauchszuordnung bis auf Ebene von Warehouse, Workload und Abfragemuster auf, damit Entscheidungen auf Fakten statt auf Durchschnittswerten beruhen. Anschließend wurde die Größe je Workload anhand ihres gemessenen Profils festgelegt und Auto-Suspend auf den Zielkonflikt zwischen Leerlaufkosten und warmem Cache abgestimmt statt auf einen Standardwert.

Lösung

  1. Zuordnung des Credit-Verbrauchs nach Warehouse, Workload, Team und Abfragemuster aufgebaut
  2. Jedes Warehouse anhand gemessener Abfrageprofile dimensioniert statt anhand der schlechtesten Abfrage, die je darauf lief
  3. Auto-Suspend je Warehouse auf den realen Zielkonflikt zwischen Leerlaufkosten und warmem Result Cache abgestimmt
  4. Konkurrierende Workloads auf dedizierte Warehouses verteilt, damit Größenentscheidungen keine Kompromisse mehr sind
  5. Multi-Cluster-Skalierung nur dort eingesetzt, wo tatsächlich die Concurrency und nicht die Abfragegröße der Engpass war
  6. Resource Monitors und Leitplanken pro Team eingerichtet, mit Alarmierung, bevor Schwellenwerte erreicht werden

Resultat

Der Credit-Verbrauch sank spürbar, ohne die Abfrageperformance irgendeines Workloads zu verschlechtern, und die Wachstumskurve verläuft im Verhältnis zum Datenvolumen flacher. Die Finanzabteilung verfügt jetzt über eine Zuordnung nach Teams, sodass sich Kostengespräche auf konkrete Workloads beziehen statt auf eine einzige Gesamtsumme.

Technologien

SnowflakedbtTerraformAirflow

Brauchen Sie Architekturberatung für Snowflake?

Die Senior Engineers von AceMQ für Snowflake haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.