Panoramica
Un produttore che eseguiva Prometheus in ogni stabilimento, più un livello di federation globale, si è accorto che le dashboard globali non concordavano con quelle locali. AceMQ ha valutato la topologia per stabilire se la federation fosse il pattern giusto alla loro scala.
Sfida
La federation gerarchica veniva usata per prelevare serie grezze anziché aggregati, per cui l'istanza globale eseguiva a ogni intervallo lo scrape di un payload enorme da ciascun sito. Gli scrape superavano regolarmente il timeout e restituivano dati parziali: ecco perché vista globale e viste locali non coincidevano. I siti con collegamenti WAN intermittenti producevano buchi che sembravano fermi di stabilimento. Durante un vero incidente di produzione nessuno sapeva di quali numeri fidarsi.
Ambiente
Prometheus in più siti produttivi con connettività WAN intermittente verso un ambiente di osservabilità centrale.
Approccio
L'assessment ha misurato ciò che la federation trasferiva effettivamente rispetto al budget del timeout di scrape, rendendo evidente il problema degli scrape parziali. Abbiamo poi valutato se i requisiti del cliente fossero serviti meglio da un remote write verso uno store centrale che dalla federation, modellando l'impatto di ciascuna opzione su banda e storage in base al numero reale di serie.
Soluzione
- Dimensione e durata del payload di federation misurate per sito e confrontate con il timeout di scrape configurato
- Scrape parziali e buchi nei dati correlati agli eventi sui collegamenti WAN, per separare i problemi di rete da quelli di configurazione
- Recording rule progettate in ogni sito, così che dallo stabilimento escano solo aggregati, riducendo il payload di federation di ordini di grandezza
- Remote write verso uno store centrale di lungo periodo valutato come alternativa, con banda e storage modellati sul numero reale di serie
- Comportamento di buffering e retry specificato, così che un'interruzione della WAN produca dati recuperati a posteriori anziché un buco permanente
- Retention definita per sito, così che gli ingegneri locali mantengano la piena risoluzione anche quando al centro arrivano solo aggregati
Esito
Il cliente è passato a recording rule a livello di sito più remote write, eliminando del tutto i buchi dovuti agli scrape parziali. Dashboard globali e di sito ora coincidono, e le interruzioni della WAN vengono colmate a posteriori anziché lasciare buchi permanenti nello storico.