Panoramica
I problemi di latenza delle query federate attraversano i confini tra sistemi, e per questo è difficile che qualcuno se ne faccia carico internamente: il team Trino dà la colpa alla sorgente, il team della sorgente dà la colpa a Trino e nessuno ha il quadro completo. AceMQ mette a disposizione ingegneri senior dedicati in grado di leggere entrambi i lati.
Sfida
Le regressioni di latenza in Starburst sono spesso legate all'ambiente più che alla struttura: un database sorgente ha modificato un indice, le statistiche sono diventate obsolete dopo un caricamento massivo, l'upgrade di un connettore ha cambiato il comportamento del pushdown oppure l'accodamento sul coordinator è cresciuto perché la concorrenza è aumentata gradualmente. Dallo strumento di BI tutti questi casi appaiono identici, perché la dashboard è lenta, e diagnosticarli richiede accesso e competenze su entrambi i lati del connettore.
Ambiente
Deployment Starburst Enterprise o Galaxy su Kubernetes, VM o cloud gestito, che federano più sorgenti di produzione.
Approccio
Gli ingegneri AceMQ lavorano incrociando lo storico degli eventi delle query, le metriche delle code del coordinator e i piani di esecuzione lato sorgente, così che una regressione venga attribuita correttamente invece di diventare oggetto di discussione. La mitigazione immediata può consistere in una modifica a un resource group o nella riscrittura di una query; l'intervento successivo agisce sulle statistiche, sulla configurazione del connettore o sull'indice lato sorgente che l'hanno causata.
Soluzione
- Obiettivi di risposta da 15 minuti, in base al piano, con ingegneri senior dedicati, 24/7, senza triage di primo livello
- Analisi dello storico degli eventi delle query e delle code del coordinator per distinguere la lentezza di esecuzione dal ritardo di ammissione
- Confronto dei piani lato sorgente per stabilire se la regressione ha origine in Trino o nel sistema sottostante
- Revisione delle regressioni legate a upgrade e configurazione dei connettori dopo cambi di versione di Starburst o delle sorgenti
- Verifica dell'aggiornamento delle statistiche e pianificazione di ANALYZE per le tabelle che hanno cambiato forma dopo caricamenti massivi
- Regolazione della concorrenza e dei resource group per le raffiche di query generate dagli strumenti di BI
Esito
Le regressioni di latenza vengono attribuite rapidamente al sistema giusto, il che accorcia i tempi di risoluzione e mette fine allo stallo tra team che di solito accompagna i problemi delle query federate.