Torna a tutti i casi d'uso

SupportoServizi finanziari / Pagamenti

Eliminare il vuoto di monitoraggio di un'ora dopo ogni riavvio di Prometheus

Operatore globale di servizi di pagamento

Supporto continuativo per istanze Prometheus di grandi dimensioni in cui i riavvii causavano lunghi vuoti di monitoraggio a causa della lentezza del replay del write-ahead log.

Panoramica

Un operatore di servizi di pagamento non poteva riavviare Prometheus in orario lavorativo, perché il replay durava abbastanza da lasciare un vuoto di monitoraggio consistente. Questo trasformava le normali attività di patching in un problema di pianificazione. AceMQ fornisce supporto continuativo che copre il comportamento ai riavvii, la retention e la disponibilità della pipeline delle metriche stessa.

Sfida

Ogni istanza Prometheus gestiva un numero molto elevato di serie attive, per cui il replay del WAL all'avvio durava a lungo e l'istanza non rispondeva ad alcuna query fino al suo completamento. Qualsiasi eviction di un nodo, ricaricamento della configurazione che richiedesse un riavvio o aggiornamento di versione produceva un vuoto che il team di risk management non era disposto ad accettare durante l'orario di negoziazione. La soluzione più ovvia, ovvero eseguire una seconda replica, era già stata tentata, ma restituiva risultati di query incoerenti perché le repliche non venivano deduplicate.

Ambiente

Coppie di Prometheus per regione su Kubernetes con storage a lungo termine, numero elevato di serie attive, finestre di change regolamentate.

Approccio

Abbiamo affrontato il vuoto di monitoraggio su due fronti: ridurre il lavoro di replay in sé e rendere il riavvio invisibile a chi esegue le query. Il taglio del numero di serie tramite relabeling ha accorciato direttamente il replay. L'aggiunta di una deduplicazione delle repliche a monte della coppia ha permesso a un'istanza di riavviarsi mentre l'altra continuava a servire le query, trasformando i riavvii in operazioni ordinarie.

Soluzione

  1. Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior che conoscono la topologia di ogni regione
  2. Riduzione del numero di serie tramite eliminazione delle metriche inutilizzate basata su relabel e consolidamento degli exporter duplicati
  3. Coppie Prometheus ad alta disponibilità dietro un livello di query con deduplicazione, così che un'istanza possa riavviarsi in modo trasparente
  4. Retention e durata dei blocchi ottimizzate per ridurre le dimensioni del WAL e accorciare il replay senza perdere intervallo di query
  5. Procedure di riavvio, aggiornamento e ricaricamento della configurazione documentate e provate rispetto alla finestra di change regolamentata
  6. Revisione periodica della crescita delle serie, così che il tempo di replay resti contenuto man mano che si aggiungono nuovi servizi

Esito

I riavvii non producono più un vuoto di monitoraggio visibile e il patching è passato da un'attività pianificata fuori orario a un'operazione rolling di routine. Il tempo di replay si è ridotto di ben oltre la metà una volta eliminate le serie inutilizzate.

Tecnologie

PrometheusThanosKubernetesGrafana

Vi serve supporto specialistico per Prometheus?

Gli ingegneri Prometheus senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.