Torna a tutti i casi d'uso

RemediationTrasversale

Diagnosticare spilling e code prima di aggiungere altro warehouse

Gruppo assicurativo globale

Risoluzione dell'esplosione dei tempi di esecuzione delle pipeline, causata da query che andavano in spilling su remote storage in warehouse sottodimensionati mentre i job concorrenti restavano in coda dietro di esse.

Panoramica

La pipeline di trasformazione notturna di un gruppo assicurativo aveva cominciato a sforare la propria finestra e a sovrapporsi alla giornata lavorativa. La soluzione istintiva era un warehouse più grande, già tentata una volta senza grandi risultati. AceMQ è stata incaricata di capire che cosa stesse davvero consumando il tempo.

Sfida

Due problemi distinti producevano lo stesso sintomo. Un piccolo numero di query di trasformazione andava in spilling su remote storage, che è più lento di ordini di grandezza rispetto a quello locale, e quelle query di lunga durata occupavano il warehouse mentre tutto il resto restava in coda. Aumentare la dimensione del warehouse aveva aiutato leggermente le query in spilling, ma aveva peggiorato le code in rapporto ai credit spesi.

Ambiente

Snowflake su Azure con trasformazioni dbt orchestrate da Airflow sui dati di polizze e sinistri.

Approccio

AceMQ ha usato la query history per separare, query per query, tempo di esecuzione, tempo in coda e volume di spilling, così da affrontare i due problemi in modo indipendente. Le correzioni a livello di query sono venute per prime, perché una query che va in spilling continuerà a farlo con qualsiasi dimensione di warehouse che non contenga il suo working set.

Soluzione

  1. Tempo di esecuzione, tempo in coda e volume di remote spilling separati per singola query a partire dalla query history
  2. Riscritti join e window function nelle query con lo spilling peggiore per ridurre la dimensione dei risultati intermedi
  3. Pipeline suddivisa su warehouse separati, così che le trasformazioni lunghe non bloccassero più i job brevi
  4. Configurato lo scaling multi-cluster sul warehouse che serve le query brevi concorrenti
  5. Corretti clustering e filtri sulle tabelle sorgente più grandi per ridurre le micro-partition scansionate
  6. Volume di spilling e profondità delle code aggiunti al monitoraggio della pipeline come indicatori anticipatori dello sforamento della finestra

Esito

La pipeline notturna è rientrata nella propria finestra e ha smesso di sovrapporsi all'orario lavorativo. Il remote spilling è stato eliminato sulle query peggiori e il consumo di credit è diminuito rispetto all'approccio del warehouse più grande tentato in precedenza.

Tecnologie

SnowflakedbtAirflowTerraform

Avete un problema di produzione su Snowflake?

Gli ingegneri Snowflake senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.