Torna a tutti i casi d'uso

ConsulenzaServizi finanziari / Trading

Un unico punto da consultare, con label che permettono davvero di passare da un segnale all'altro

Gruppo di servizi finanziari

Progetto di consulenza per consolidare metriche, log e trace frammentati su un unico livello di osservabilità basato su Grafana, con un labeling coerente.

Panoramica

Un gruppo di servizi finanziari aveva le metriche in uno strumento, i log in un altro e le trace in un terzo, senza identificativi condivisi tra di essi. AceMQ ha progettato il consolidamento su uno stack con Grafana come front end, in cui un ingegnere può passare da un picco in una metrica ai log e alle trace pertinenti senza dover ricostruire il contesto.

Sfida

I tre tipi di segnale usavano nomi diversi per le stesse cose: i nomi dei servizi differivano per maiuscole e suffissi, gli ambienti erano etichettati in modo incoerente e nei log non esisteva un identificativo condiviso di trace o di richiesta. Correlare un alert con i relativi log significava affidarsi a una persona che traducesse tra schemi di naming diversi sotto pressione. Inoltre, gli agent duplicati nel parco facevano sì che lo stesso host venisse sottoposto a scrape più volte.

Ambiente

Parco ibrido con workload Kubernetes e macchine virtuali legacy, con più ambienti regolamentati che richiedono la separazione per residenza dei dati.

Approccio

Il lavoro di progettazione è partito da una tassonomia delle label anziché dagli strumenti, perché la correlazione è un problema di naming prima ancora che di prodotto. Abbiamo definito un insieme di label obbligatorie applicato in modo uniforme a metriche, log e trace, specificato la propagazione del trace context così che le righe di log riportino l'identificativo della trace, e poi progettato la topologia di raccolta che lo impone a livello di agent.

Soluzione

  1. Definita una tassonomia di label obbligatorie per servizio, ambiente, regione e team, applicata in modo identico a metriche, log e trace
  2. Propagazione del trace context progettata in modo che le righe di log riportino gli identificativi di trace e span, rendendo il passaggio da metrica a log a trace questione di un clic
  3. Topologia di raccolta razionalizzata con un unico agent per host, eliminando gli scrape duplicati e il relativo costo di storage
  4. Confini di residenza dei dati imposti a livello di raccolta, così che le regioni regolamentate non inviino mai telemetria oltre confine
  5. Tier di retention definiti per tipo di segnale, con dati ad alta risoluzione conservati per poco e dati sottocampionati conservati a lungo
  6. Migrazione sequenziata servizio per servizio con periodi di doppia emissione, così che nessun team perda visibilità durante la transizione

Esito

Gli ingegneri ora passano da un alert ai log e alla trace correlati direttamente in Grafana, invece di tradurre manualmente gli identificativi. L'eliminazione della raccolta duplicata ha ridotto sensibilmente il volume di telemetria, e la tassonomia condivisa ha retto con l'onboarding dei nuovi servizi.

Tecnologie

GrafanaPrometheusLokiTempoKubernetes

Vi servono indicazioni sull'architettura Grafana?

Gli ingegneri Grafana senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.