Panoramica
La pipeline di trasformazione notturna di un gruppo assicurativo aveva cominciato a sforare la propria finestra e a sovrapporsi alla giornata lavorativa. La soluzione istintiva era un warehouse più grande, già tentata una volta senza grandi risultati. AceMQ è stata incaricata di capire che cosa stesse davvero consumando il tempo.
Sfida
Due problemi distinti producevano lo stesso sintomo. Un piccolo numero di query di trasformazione andava in spilling su remote storage, che è più lento di ordini di grandezza rispetto a quello locale, e quelle query di lunga durata occupavano il warehouse mentre tutto il resto restava in coda. Aumentare la dimensione del warehouse aveva aiutato leggermente le query in spilling, ma aveva peggiorato le code in rapporto ai credit spesi.
Ambiente
Snowflake su Azure con trasformazioni dbt orchestrate da Airflow sui dati di polizze e sinistri.
Approccio
AceMQ ha usato la query history per separare, query per query, tempo di esecuzione, tempo in coda e volume di spilling, così da affrontare i due problemi in modo indipendente. Le correzioni a livello di query sono venute per prime, perché una query che va in spilling continuerà a farlo con qualsiasi dimensione di warehouse che non contenga il suo working set.
Soluzione
- Tempo di esecuzione, tempo in coda e volume di remote spilling separati per singola query a partire dalla query history
- Riscritti join e window function nelle query con lo spilling peggiore per ridurre la dimensione dei risultati intermedi
- Pipeline suddivisa su warehouse separati, così che le trasformazioni lunghe non bloccassero più i job brevi
- Configurato lo scaling multi-cluster sul warehouse che serve le query brevi concorrenti
- Corretti clustering e filtri sulle tabelle sorgente più grandi per ridurre le micro-partition scansionate
- Volume di spilling e profondità delle code aggiunti al monitoraggio della pipeline come indicatori anticipatori dello sforamento della finestra
Esito
La pipeline notturna è rientrata nella propria finestra e ha smesso di sovrapporsi all'orario lavorativo. Il remote spilling è stato eliminato sulle query peggiori e il consumo di credit è diminuito rispetto all'approccio del warehouse più grande tentato in precedenza.