Panoramica
Quando un job Spark passa più tempo a scrivere dati di shuffle su disco che a calcolare, aggiungere executor serve a poco: il collo di bottiglia è un I/O di cui il job non aveva bisogno. AceMQ analizza da dove nasce il volume di shuffle e ristruttura il job per evitarlo.
Sfida
Con il tempo i job batch notturni accumulano pattern ad alto shuffle: repartition ripetute, join eseguiti prima dei filtri, aggregazioni ampie su colonne non potate e un numero statico di partizioni di shuffle che non corrisponde più al volume di dati. Lo spill su disco finisce per dominare il tempo di esecuzione e, poiché il job è vincolato dallo stage più lento, la finestra batch scivola oltre la scadenza da cui dipende il reporting a valle.
Ambiente
Apache Spark su YARN o Kubernetes con ETL batch notturni, in genere su tabelle Hive o Delta nell'ordine di più terabyte.
Approccio
AceMQ costruisce un profilo per stage dei volumi di shuffle read e write e dei byte di spill, che individua i pochi stage responsabili della maggior parte dell'I/O. Questi stage vengono poi affrontati a livello strutturale (pushdown di predicati e proiezioni, riordino dei join, rimozione delle repartition ridondanti) prima di qualsiasi tuning di configurazione. Il dimensionamento delle partizioni e le impostazioni di serializzazione si regolano per ultimi, sulla forma del job già corretta.
Soluzione
- Profilazione per stage di shuffle read, write e spill per isolare gli stage che determinano la finestra batch
- Filtri sui predicati e pruning delle colonne anticipati rispetto ai join, così gli shuffle trasportano meno dati
- Rimozione delle chiamate repartition e coalesce ridondanti che forzano shuffle completi senza alcun beneficio
- Dimensionamento di shuffle.partitions e coalescing di Adaptive Query Execution calibrati sul volume reale di dati per partizione
- Serializzazione Kryo, codec di compressione e buffer di shuffle regolati sulla forma del job corretta
- Revisione dell'external shuffle service e della disposizione dei dischi locali, con volumi dedicati allo spill dove l'I/O è conteso
Esito
In genere i clienti riducono di circa un terzo la finestra batch notturna sui job trattati, con i guadagni maggiori ottenuti dalle modifiche strutturali più che dalla configurazione. La finestra smette di slittare perché il volume di shuffle non cresce più a ogni incremento dei dati.