Panoramica
Un operatore di servizi di pagamento non poteva riavviare Prometheus in orario lavorativo, perché il replay durava abbastanza da lasciare un vuoto di monitoraggio consistente. Questo trasformava le normali attività di patching in un problema di pianificazione. AceMQ fornisce supporto continuativo che copre il comportamento ai riavvii, la retention e la disponibilità della pipeline delle metriche stessa.
Sfida
Ogni istanza Prometheus gestiva un numero molto elevato di serie attive, per cui il replay del WAL all'avvio durava a lungo e l'istanza non rispondeva ad alcuna query fino al suo completamento. Qualsiasi eviction di un nodo, ricaricamento della configurazione che richiedesse un riavvio o aggiornamento di versione produceva un vuoto che il team di risk management non era disposto ad accettare durante l'orario di negoziazione. La soluzione più ovvia, ovvero eseguire una seconda replica, era già stata tentata, ma restituiva risultati di query incoerenti perché le repliche non venivano deduplicate.
Ambiente
Coppie di Prometheus per regione su Kubernetes con storage a lungo termine, numero elevato di serie attive, finestre di change regolamentate.
Approccio
Abbiamo affrontato il vuoto di monitoraggio su due fronti: ridurre il lavoro di replay in sé e rendere il riavvio invisibile a chi esegue le query. Il taglio del numero di serie tramite relabeling ha accorciato direttamente il replay. L'aggiunta di una deduplicazione delle repliche a monte della coppia ha permesso a un'istanza di riavviarsi mentre l'altra continuava a servire le query, trasformando i riavvii in operazioni ordinarie.
Soluzione
- Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior che conoscono la topologia di ogni regione
- Riduzione del numero di serie tramite eliminazione delle metriche inutilizzate basata su relabel e consolidamento degli exporter duplicati
- Coppie Prometheus ad alta disponibilità dietro un livello di query con deduplicazione, così che un'istanza possa riavviarsi in modo trasparente
- Retention e durata dei blocchi ottimizzate per ridurre le dimensioni del WAL e accorciare il replay senza perdere intervallo di query
- Procedure di riavvio, aggiornamento e ricaricamento della configurazione documentate e provate rispetto alla finestra di change regolamentata
- Revisione periodica della crescita delle serie, così che il tempo di replay resti contenuto man mano che si aggiungono nuovi servizi
Esito
I riavvii non producono più un vuoto di monitoraggio visibile e il patching è passato da un'attività pianificata fuori orario a un'operazione rolling di routine. Il tempo di replay si è ridotto di ben oltre la metà una volta eliminate le serie inutilizzate.