Panoramica
I broadcast join sono l'opzione più veloce quando uno dei due lati è piccolo, e una fonte sicura di interruzioni in produzione quando quel lato smette, senza dare segnali, di essere piccolo. AceMQ mette a disposizione ingegneri senior dedicati che diagnosticano e risolvono questi fallimenti durante l'incidente, non dopo.
Sfida
Una tabella di dimensione supera la soglia di broadcast e il driver esaurisce la memoria nel materializzarla, oppure il broadcast va in timeout in attesa che gli executor la ricevano. Le statistiche obsolete peggiorano la situazione: l'ottimizzatore pianifica un broadcast basandosi su un conteggio di righe raccolto mesi prima. Un hint di broadcast esplicito rimasto nel codice la peggiora ulteriormente, perché l'ottimizzatore non ha alcun margine per tirarsi indietro. Il fallimento compare all'improvviso in un job che nessuno ha toccato.
Ambiente
Apache Spark su YARN, Kubernetes, EMR o Databricks, con join su tabelle di dimensione che crescono nel tempo.
Approccio
Gli ingegneri AceMQ verificano dal piano fisico se viene tentato un broadcast e perché, quindi confrontano la dimensione effettiva del build side con la soglia e con la memoria disponibile sul driver. La risoluzione immediata consiste di solito nella correzione della soglia, nella rimozione dell'hint o in un adeguamento della memoria del driver; la soluzione duratura è la manutenzione delle statistiche e la revisione di tutti gli hint di broadcast espliciti rimasti nel codice.
Soluzione
- Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
- Revisione del piano fisico per confermare la scelta del broadcast e misurare la dimensione reale del build side rispetto alla soglia configurata
- Correzione di autoBroadcastJoinThreshold e broadcastTimeout, dimensionati sulla memoria effettiva del driver
- Rimozione o delimitazione degli hint di broadcast espliciti che scavalcano l'ottimizzatore indipendentemente dalla crescita delle tabelle
- Aggiornamento delle statistiche e pianificazione di ANALYZE TABLE, così che l'ottimizzatore pianifichi sui conteggi di righe attuali
- Configurazione dell'Adaptive Query Execution, così che il piano possa ripiegare su un sort-merge join a runtime
Esito
Il job in errore torna in servizio in giornata e il problema non si ripresenta, perché le statistiche vengono mantenute e gli hint obsoleti vengono rimossi in tutto il codice, non solo nel job che si era rotto.