Überblick
Die nächtliche Transformations-Pipeline einer Versicherungsgruppe überschritt zunehmend ihr Zeitfenster und kollidierte mit dem Geschäftstag. Der reflexhafte Lösungsansatz – ein größeres Warehouse – war bereits einmal ohne große Wirkung ausprobiert worden. AceMQ wurde beauftragt herauszufinden, was die Zeit tatsächlich verbrauchte.
Herausforderung
Zwei verschiedene Probleme erzeugten dasselbe Symptom. Einige wenige Transformationsabfragen lagerten in den Remote Storage aus, der um Größenordnungen langsamer ist als der lokale, und diese lang laufenden Abfragen belegten das Warehouse, während sich alles andere dahinter staute. Ein größeres Warehouse hatte den auslagernden Abfragen etwas geholfen, das Queueing pro eingesetztem Credit aber verschlimmert.
Umgebung
Snowflake auf Azure mit dbt-Transformationen, orchestriert durch Airflow, über Policen- und Schadendaten.
Vorgehen
AceMQ trennte anhand der Query History für jede Abfrage Ausführungszeit, Wartezeit in der Queue und Spill-Volumen, damit sich beide Probleme unabhängig voneinander angehen ließen. Korrekturen auf Abfrageebene kamen zuerst, denn eine Abfrage, die auslagert, tut das bei jeder Warehouse-Größe, in die ihr Working Set nicht passt.
Lösung
- Ausführungszeit, Queue-Wartezeit und Remote-Spill-Volumen je Abfrage aus der Query History getrennt ermittelt
- Joins und Window Functions in den am stärksten auslagernden Abfragen umgeschrieben, um die Größe der Zwischenergebnisse zu verringern
- Die Pipeline auf getrennte Warehouses verteilt, damit lange Transformationen kurze Jobs nicht mehr blockieren
- Multi-Cluster-Skalierung auf dem Warehouse konfiguriert, das parallele kurze Abfragen bedient
- Clustering und Filterung auf den größten Quelltabellen korrigiert, um weniger Micro-Partitions zu scannen
- Spill-Volumen und Queue-Tiefe als Frühindikatoren für Fensterüberschreitungen ins Pipeline-Monitoring aufgenommen
Resultat
Die nächtliche Pipeline läuft wieder innerhalb ihres Zeitfensters und kollidiert nicht mehr mit den Geschäftszeiten. Das Auslagern in den Remote Storage ist bei den schlimmsten Abfragen beseitigt, und der Credit-Verbrauch sank im Vergleich zum zuvor ausprobierten größeren Warehouse.