Torna a tutti i casi d'uso

ConsulenzaServizi finanziari / Pagamenti

Riducete lo shuffle, e la finestra batch si accorcia di conseguenza

Banca retail nazionale

Ridurre il volume di shuffle write e lo spill su disco dei job batch notturni, così che la finestra di elaborazione rientri nella scadenza del reporting.

Panoramica

Quando un job Spark passa più tempo a scrivere dati di shuffle su disco che a calcolare, aggiungere executor serve a poco: il collo di bottiglia è un I/O di cui il job non aveva bisogno. AceMQ analizza da dove nasce il volume di shuffle e ristruttura il job per evitarlo.

Sfida

Con il tempo i job batch notturni accumulano pattern ad alto shuffle: repartition ripetute, join eseguiti prima dei filtri, aggregazioni ampie su colonne non potate e un numero statico di partizioni di shuffle che non corrisponde più al volume di dati. Lo spill su disco finisce per dominare il tempo di esecuzione e, poiché il job è vincolato dallo stage più lento, la finestra batch scivola oltre la scadenza da cui dipende il reporting a valle.

Ambiente

Apache Spark su YARN o Kubernetes con ETL batch notturni, in genere su tabelle Hive o Delta nell'ordine di più terabyte.

Approccio

AceMQ costruisce un profilo per stage dei volumi di shuffle read e write e dei byte di spill, che individua i pochi stage responsabili della maggior parte dell'I/O. Questi stage vengono poi affrontati a livello strutturale (pushdown di predicati e proiezioni, riordino dei join, rimozione delle repartition ridondanti) prima di qualsiasi tuning di configurazione. Il dimensionamento delle partizioni e le impostazioni di serializzazione si regolano per ultimi, sulla forma del job già corretta.

Soluzione

  1. Profilazione per stage di shuffle read, write e spill per isolare gli stage che determinano la finestra batch
  2. Filtri sui predicati e pruning delle colonne anticipati rispetto ai join, così gli shuffle trasportano meno dati
  3. Rimozione delle chiamate repartition e coalesce ridondanti che forzano shuffle completi senza alcun beneficio
  4. Dimensionamento di shuffle.partitions e coalescing di Adaptive Query Execution calibrati sul volume reale di dati per partizione
  5. Serializzazione Kryo, codec di compressione e buffer di shuffle regolati sulla forma del job corretta
  6. Revisione dell'external shuffle service e della disposizione dei dischi locali, con volumi dedicati allo spill dove l'I/O è conteso

Esito

In genere i clienti riducono di circa un terzo la finestra batch notturna sui job trattati, con i guadagni maggiori ottenuti dalle modifiche strutturali più che dalla configurazione. La finestra smette di slittare perché il volume di shuffle non cresce più a ogni incremento dei dati.

Tecnologie

Apache SparkApache HadoopYARNApache Hive

Vi servono indicazioni sull'architettura Apache Spark?

Gli ingegneri Apache Spark senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.