Panoramica
In Trino un singolo join senza vincoli può esaurire l'heap dei worker e abbattere nodi da cui dipendono decine di altre query. AceMQ risolve l'instabilità immediata e poi introduce i controlli sulle risorse che impediscono alla query di un singolo analista di trasformarsi in un disservizio per tutti.
Sfida
Sotto pressione di memoria Trino fallisce in modo brusco. Un cross join con un predicato errato, un broadcast join in cui il build side si rivela molto più grande di quanto suggerito dalle statistiche, o un ORDER BY su una tabella dei fatti non filtrata spingono l'heap dei worker oltre il limite e terminano la JVM. Senza resource group non c'è nulla a separare una singola query dall'intero cluster, e i retry peggiorano il tentativo successivo.
Ambiente
Starburst Enterprise su Kubernetes o VM, al servizio di carichi analitici misti, ad hoc e pianificati.
Approccio
AceMQ parte dai log della JVM e delle query per individuare gli operatori e le query responsabili, quindi applica limiti di memoria per query e per nodo, così che la query problematica fallisca in modo pulito anziché terminare il worker. Lo spill su disco viene configurato per i join e gli ordinamenti che superano legittimamente la memoria, e i resource group ripartiscono la capacità in modo che il lavoro pianificato sia isolato dall'esplorazione ad hoc.
Soluzione
- Analisi dell'heap della JVM, dei log di GC e degli eventi delle query per attribuire i crash a specifici operatori e tipologie di query
- Tuning di query.max-memory, query.max-memory-per-node e memory.heap-headroom in base alla concorrenza reale
- Configurazione dello spill su disco, con storage locale adeguato, per join, aggregazioni e ordinamenti che superano legittimamente la memoria
- Definizione di resource group che separano pipeline pianificate, strumenti di BI e query ad hoc degli analisti, con limiti di concorrenza rigidi
- Revisione della distribuzione e del riordino dei join, inclusa la correzione della soglia di broadcast dove le statistiche ingannano l'ottimizzatore
- Revisione del dimensionamento del coordinator e del profilo dei worker node, con graceful shutdown configurato per i cluster in autoscaling
Esito
I crash dei worker si interrompono e le query che superano la propria quota falliscono con un chiaro errore di risorse, invece di trascinare con sé gli altri nodi. Le pipeline pianificate terminano in modo prevedibile, perché il carico ad hoc non può più occupare l'intero cluster.