Panoramica
In Spark l'OOM degli executor è di solito un sintomo, e la causa di fondo è spesso che un piccolo numero di chiavi di join o di raggruppamento concentra una quota sproporzionata delle righe. AceMQ diagnostica direttamente lo skew, invece di aumentare la memoria degli executor finché il job smette di andare in crash.
Sfida
Lo schema tipico è un join su una colonna in cui un segnaposto null o un tenant ID predefinito rappresenta una larga parte delle righe. Quelle righe finiscono tutte, tramite hash, nella stessa partizione, un solo executor tenta di contenerle e cede. I team reagiscono aumentando spark.executor.memory, il che rimanda il fallimento e aumenta il costo del cluster senza risolvere nulla. Nel frattempo, la durata dello stage è vincolata al task più lento, per cui la finestra di esecuzione del job continua ad allungarsi.
Ambiente
Apache Spark su YARN, Kubernetes o Databricks, con ETL batch su tabelle Hive, Delta o Iceberg.
Approccio
AceMQ analizza il dettaglio degli stage nella Spark UI e gli event log per confrontare la dimensione dell'input di ogni task e la distribuzione dello shuffle read, rendendo lo skew immediatamente visibile. La soluzione viene scelta in base ai dati: Adaptive Query Execution dove la versione la supporta, salting per le hot key persistenti, esclusione delle righe con chiave null dal percorso del join, oppure un broadcast se il lato della dimensione è davvero piccolo.
Soluzione
- Analisi della distribuzione dell'input e dello shuffle read per task a partire dagli event log, per individuare e quantificare le chiavi sbilanciate
- Attivazione dell'Adaptive Query Execution con soglie di skew join e di coalescing delle partizioni calibrate sulla distribuzione osservata
- Salting delle chiavi per le hot key persistenti, con la corrispondente riscrittura dell'aggregazione
- Rimozione dal percorso del join delle chiavi null e sentinella, laddove quelle righe non hanno alcun significato di business
- Correzione del dimensionamento di memoria, numero di core e memory overhead degli executor dopo aver sistemato la distribuzione, non prima
- Revisione del numero di partizioni e della posizione dei repartition per eliminare shuffle completi non necessari
Esito
I job notturni che fallivano a intermittenza per OOM vengono completati in modo affidabile, e la durata degli stage si livella perché nessun singolo task si fa carico dell'intera partizione. L'allocazione di memoria del cluster di solito diminuisce, anziché aumentare.