Torna a tutti i casi d'uso

ConsulenzaSoftware / Piattaforme digitali

Una governance della cardinalità delle custom metric che regge anche al prossimo deployment

Piattaforma di commercio digitale

Consulenza per governare la cardinalità delle custom metric, l'ingest dei log e il volume delle trace, così che la spesa per l'osservabilità segua il valore e non il caso.

Panoramica

La fattura per l'osservabilità di una piattaforma di e-commerce cresceva più in fretta del traffico, trainata soprattutto da custom metric che nessuno aveva mai rivisto. AceMQ l'ha aiutata a capire da dove arrivasse il volume e ha introdotto controlli che tengono anche quando vengono rilasciati nuovi servizi.

Sfida

La fatturazione delle custom metric dipende dalle combinazioni distinte di tag, e diversi team avevano aggiunto come tag identificativi di deployment, nomi dei pod e identificativi dei clienti. Una sola metrica con il tag del nome del pod su un deployment ad alto ricambio generava un numero enorme di serie fatturabili che nessuna dashboard interrogava mai. L'ingest dei log aveva lo stesso problema sotto un'altra forma: i log a livello debug di un framework molto verboso rappresentavano una quota consistente del volume indicizzato e non venivano mai consultati.

Ambiente

Datadog su un parco AWS multi-account con workload Kubernetes, alta frequenza di deployment e più team di prodotto.

Approccio

Non gestiamo la piattaforma del vendor: aiutiamo i clienti a controllare ciò che vi inviano. L'intervento ha quantificato il volume per origine, stabilito quale telemetria venisse effettivamente interrogata e poi implementato controlli a livello di emissione e di raccolta, così che le riduzioni non vengano vanificate silenziosamente al deploy successivo.

Soluzione

  1. Volume delle custom metric attribuito a metriche e chiavi di tag specifiche, con una classifica per contributo alle serie fatturabili
  2. Incrocio con l'utilizzo nelle query, per identificare come eliminabili in sicurezza metriche e tag mai interrogati da nessuno
  3. Definita una governance dei tag: gli identificativi con valori illimitati vanno nei log o nelle trace, mai nei tag delle metriche
  4. Filtri su metriche e tag applicati a livello di raccolta, così che la regola sia rispettata a prescindere da ciò che emettono le applicazioni
  5. Policy di indicizzazione dei log suddivisa, così che i log ad alto volume e basso valore vengano conservati senza essere indicizzati per la ricerca
  6. Strategia di campionamento delle trace rivista per mantenere a piena fedeltà le trace con errori e quelle lente, campionando le richieste ordinarie andate a buon fine

Esito

Il volume fatturabile delle custom metric si è all'incirca dimezzato senza alcuna perdita di copertura su dashboard o alert, e il volume dei log indicizzati è calato in misura analoga. Poiché il filtro opera a livello di raccolta, un team che aggiunge un tag ad alta cardinalità non provoca più sorprese in fattura.

Tecnologie

DatadogKubernetesTerraformOpenTelemetry

Vi servono indicazioni sull'architettura Datadog?

Gli ingegneri Datadog senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.