Torna a tutti i casi d'uso

SupportoIndustria / Manifattura

Il job che funzionava da due anni, finché la tabella di lookup non è cresciuta

Produttore di sistemi di automazione industriale

Risolvere i job che falliscono quando una tabella di dimensione supera la soglia di broadcast e l'ottimizzatore continua comunque a tentarne il broadcast.

Panoramica

I broadcast join sono l'opzione più veloce quando uno dei due lati è piccolo, e una fonte sicura di interruzioni in produzione quando quel lato smette, senza dare segnali, di essere piccolo. AceMQ mette a disposizione ingegneri senior dedicati che diagnosticano e risolvono questi fallimenti durante l'incidente, non dopo.

Sfida

Una tabella di dimensione supera la soglia di broadcast e il driver esaurisce la memoria nel materializzarla, oppure il broadcast va in timeout in attesa che gli executor la ricevano. Le statistiche obsolete peggiorano la situazione: l'ottimizzatore pianifica un broadcast basandosi su un conteggio di righe raccolto mesi prima. Un hint di broadcast esplicito rimasto nel codice la peggiora ulteriormente, perché l'ottimizzatore non ha alcun margine per tirarsi indietro. Il fallimento compare all'improvviso in un job che nessuno ha toccato.

Ambiente

Apache Spark su YARN, Kubernetes, EMR o Databricks, con join su tabelle di dimensione che crescono nel tempo.

Approccio

Gli ingegneri AceMQ verificano dal piano fisico se viene tentato un broadcast e perché, quindi confrontano la dimensione effettiva del build side con la soglia e con la memoria disponibile sul driver. La risoluzione immediata consiste di solito nella correzione della soglia, nella rimozione dell'hint o in un adeguamento della memoria del driver; la soluzione duratura è la manutenzione delle statistiche e la revisione di tutti gli hint di broadcast espliciti rimasti nel codice.

Soluzione

  1. Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
  2. Revisione del piano fisico per confermare la scelta del broadcast e misurare la dimensione reale del build side rispetto alla soglia configurata
  3. Correzione di autoBroadcastJoinThreshold e broadcastTimeout, dimensionati sulla memoria effettiva del driver
  4. Rimozione o delimitazione degli hint di broadcast espliciti che scavalcano l'ottimizzatore indipendentemente dalla crescita delle tabelle
  5. Aggiornamento delle statistiche e pianificazione di ANALYZE TABLE, così che l'ottimizzatore pianifichi sui conteggi di righe attuali
  6. Configurazione dell'Adaptive Query Execution, così che il piano possa ripiegare su un sort-merge join a runtime

Esito

Il job in errore torna in servizio in giornata e il problema non si ripresenta, perché le statistiche vengono mantenute e gli hint obsoleti vengono rimossi in tutto il codice, non solo nel job che si era rotto.

Tecnologie

Apache SparkDelta LakeApache Hive

Vi serve supporto specialistico per Apache Spark?

Gli ingegneri Apache Spark senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.