Panoramica
L'istanza Grafana di un operatore di telecomunicazioni rallentava fino quasi a fermarsi durante gli incidenti gravi, cioè proprio quando il team delle operazioni di rete ne dipendeva. AceMQ ha eliminato la modalità di guasto invece di aggiungere altre repliche.
Sfida
Il problema era autoinflitto: durante un incidente decine di ingegneri aprivano lo stesso insieme di dashboard pesanti, ognuna delle quali lanciava molte range query concorrenti verso il datasource. Il backend non riusciva a tenere il passo, i pannelli andavano in timeout, gli ingegneri premevano refresh e l'ondata di retry peggiorava la situazione. A questo si aggiungeva la contesa generata dalle scritture di sessioni e annotazioni di Grafana sul proprio database. Nulla era guasto se preso singolarmente; il sistema cedeva solo quando serviva.
Ambiente
Grafana su Kubernetes con un database relazionale come backend, che interroga Prometheus e uno storage di metriche a lungo termine in più regioni.
Approccio
Abbiamo riprodotto il guasto con un test di carico basato sul pattern di accesso durante gli incidenti, non su quello a regime. In questo modo i pannelli più costosi sono emersi con chiarezza. Abbiamo quindi ridotto il costo delle query per dashboard, aggiunto una cache davanti al datasource e separato il carico sul database di Grafana dal percorso delle query, così che l'interfaccia resti reattiva anche quando i datasource sono lenti.
Soluzione
- Test di carico costruito sul pattern di accesso reale durante gli incidenti (molti utenti contemporanei sulle stesse dashboard) anziché sul traffico medio
- Individuazione e riscrittura dei pannelli costosi con recording rule, così che l'aggregazione pesante avvenga una sola volta in fase di ingest e non per ogni utente
- Cache dei risultati delle query davanti al datasource, con TTL tarati sull'intervallo di refresh di ciascun pannello
- Revisione degli intervalli di refresh delle dashboard e degli intervalli temporali predefiniti, così che una scheda aperta e inattiva smetta di generare carico continuo
- Tuning del database di Grafana e correzione del connection pooling per eliminare la contesa dovuta alle scritture di annotazioni e sessioni
- Timeout delle query a livello di pannello, così che un datasource lento degradi un solo pannello invece di bloccare l'intera dashboard
Esito
I tempi di caricamento delle dashboard durante gli incidenti sono scesi da decine di secondi a valori quasi istantanei e le ondate di retry non si verificano più. Il team delle operazioni di rete ora usa Grafana durante gli incidenti gravi, invece di ripiegare su query improvvisate.