Zurück zu allen Kundenbeispielen

FehlerbehebungBranchenübergreifend

Spilling und Queueing diagnostizieren, bevor man das Warehouse vergrößert

Globale Versicherungsgruppe

Behebung explodierender Pipeline-Laufzeiten durch Abfragen, die auf zu kleinen Warehouses in den Remote Storage auslagerten, während sich parallele Jobs dahinter stauten.

Überblick

Die nächtliche Transformations-Pipeline einer Versicherungsgruppe überschritt zunehmend ihr Zeitfenster und kollidierte mit dem Geschäftstag. Der reflexhafte Lösungsansatz – ein größeres Warehouse – war bereits einmal ohne große Wirkung ausprobiert worden. AceMQ wurde beauftragt herauszufinden, was die Zeit tatsächlich verbrauchte.

Herausforderung

Zwei verschiedene Probleme erzeugten dasselbe Symptom. Einige wenige Transformationsabfragen lagerten in den Remote Storage aus, der um Größenordnungen langsamer ist als der lokale, und diese lang laufenden Abfragen belegten das Warehouse, während sich alles andere dahinter staute. Ein größeres Warehouse hatte den auslagernden Abfragen etwas geholfen, das Queueing pro eingesetztem Credit aber verschlimmert.

Umgebung

Snowflake auf Azure mit dbt-Transformationen, orchestriert durch Airflow, über Policen- und Schadendaten.

Vorgehen

AceMQ trennte anhand der Query History für jede Abfrage Ausführungszeit, Wartezeit in der Queue und Spill-Volumen, damit sich beide Probleme unabhängig voneinander angehen ließen. Korrekturen auf Abfrageebene kamen zuerst, denn eine Abfrage, die auslagert, tut das bei jeder Warehouse-Größe, in die ihr Working Set nicht passt.

Lösung

  1. Ausführungszeit, Queue-Wartezeit und Remote-Spill-Volumen je Abfrage aus der Query History getrennt ermittelt
  2. Joins und Window Functions in den am stärksten auslagernden Abfragen umgeschrieben, um die Größe der Zwischenergebnisse zu verringern
  3. Die Pipeline auf getrennte Warehouses verteilt, damit lange Transformationen kurze Jobs nicht mehr blockieren
  4. Multi-Cluster-Skalierung auf dem Warehouse konfiguriert, das parallele kurze Abfragen bedient
  5. Clustering und Filterung auf den größten Quelltabellen korrigiert, um weniger Micro-Partitions zu scannen
  6. Spill-Volumen und Queue-Tiefe als Frühindikatoren für Fensterüberschreitungen ins Pipeline-Monitoring aufgenommen

Resultat

Die nächtliche Pipeline läuft wieder innerhalb ihres Zeitfensters und kollidiert nicht mehr mit den Geschäftszeiten. Das Auslagern in den Remote Storage ist bei den schlimmsten Abfragen beseitigt, und der Credit-Verbrauch sank im Vergleich zum zuvor ausprobierten größeren Warehouse.

Technologien

SnowflakedbtAirflowTerraform

Haben Sie ein Produktionsproblem mit Snowflake?

Die Senior Engineers von AceMQ für Snowflake haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.