Panoramica
La fattura per l'osservabilità di una piattaforma di e-commerce cresceva più in fretta del traffico, trainata soprattutto da custom metric che nessuno aveva mai rivisto. AceMQ l'ha aiutata a capire da dove arrivasse il volume e ha introdotto controlli che tengono anche quando vengono rilasciati nuovi servizi.
Sfida
La fatturazione delle custom metric dipende dalle combinazioni distinte di tag, e diversi team avevano aggiunto come tag identificativi di deployment, nomi dei pod e identificativi dei clienti. Una sola metrica con il tag del nome del pod su un deployment ad alto ricambio generava un numero enorme di serie fatturabili che nessuna dashboard interrogava mai. L'ingest dei log aveva lo stesso problema sotto un'altra forma: i log a livello debug di un framework molto verboso rappresentavano una quota consistente del volume indicizzato e non venivano mai consultati.
Ambiente
Datadog su un parco AWS multi-account con workload Kubernetes, alta frequenza di deployment e più team di prodotto.
Approccio
Non gestiamo la piattaforma del vendor: aiutiamo i clienti a controllare ciò che vi inviano. L'intervento ha quantificato il volume per origine, stabilito quale telemetria venisse effettivamente interrogata e poi implementato controlli a livello di emissione e di raccolta, così che le riduzioni non vengano vanificate silenziosamente al deploy successivo.
Soluzione
- Volume delle custom metric attribuito a metriche e chiavi di tag specifiche, con una classifica per contributo alle serie fatturabili
- Incrocio con l'utilizzo nelle query, per identificare come eliminabili in sicurezza metriche e tag mai interrogati da nessuno
- Definita una governance dei tag: gli identificativi con valori illimitati vanno nei log o nelle trace, mai nei tag delle metriche
- Filtri su metriche e tag applicati a livello di raccolta, così che la regola sia rispettata a prescindere da ciò che emettono le applicazioni
- Policy di indicizzazione dei log suddivisa, così che i log ad alto volume e basso valore vengano conservati senza essere indicizzati per la ricerca
- Strategia di campionamento delle trace rivista per mantenere a piena fedeltà le trace con errori e quelle lente, campionando le richieste ordinarie andate a buon fine
Esito
Il volume fatturabile delle custom metric si è all'incirca dimezzato senza alcuna perdita di copertura su dashboard o alert, e il volume dei log indicizzati è calato in misura analoga. Poiché il filtro opera a livello di raccolta, un team che aggiunge un tag ad alta cardinalità non provoca più sorprese in fattura.