Panoramica
L'ingest di telemetria di un fornitore SaaS cresceva molto più rapidamente del business, senza un responsabile chiaro di quella crescita. AceMQ lo ha aiutato ad attribuire i volumi, a tagliare ciò che nessuno consumava e a introdurre controlli a livello di raccolta, così che la riduzione si mantenga nel tempo.
Sfida
L'ingest era dominato da un numero ridotto di sorgenti: log verbosi dei framework inoltrati a livello debug, eventi custom emessi per ogni richiesta e utilizzati solo in forma aggregata, e metriche infrastrutturali raccolte a un intervallo molto più fine di quello mostrato da qualsiasi dashboard. Nessuno riusciva a vedere quale quota della fattura dipendesse dalla telemetria di ciascun team, quindi le discussioni sui costi non portavano a nulla e la crescita proseguiva ogni trimestre.
Ambiente
New Relic su un'installazione AWS multi-account con carichi Kubernetes e diversi team di prodotto autonomi.
Approccio
AceMQ non gestisce la piattaforma del vendor: aiutiamo i clienti a decidere e controllare che cosa esce dalla loro infrastruttura. L'incarico attribuisce l'ingest per team e sorgente, verifica che cosa viene effettivamente interrogato e implementa drop rule e campionamento a livello di raccolta, dove si applicano indipendentemente da ciò che emettono le singole applicazioni.
Soluzione
- Attribuzione del volume di ingest per team, servizio e tipo di telemetria, così che il costo abbia un responsabile e non solo un totale
- Incrocio con l'uso di query e dashboard per individuare la telemetria acquisita ma mai consumata
- Drop rule applicate a livello di raccolta per le classi di log ed eventi di cui è dimostrato il mancato utilizzo
- Correzione dei livelli di inoltro dei log alla sorgente, eliminando l'output di debug rimasto attivo dopo incidenti passati
- Allineamento degli intervalli di raccolta delle metriche infrastrutturali alla risoluzione effettivamente usata da dashboard e alert
- Budget di ingest per team con monitoraggio, così che una modifica al logging emerga come alert e non come fattura
Esito
Il volume acquisito è sceso di circa il quaranta per cento senza che nessuna dashboard o alert perdesse la propria fonte di dati. Poiché l'ingest è ora attribuito a ciascun team e gestito a budget, la crescita è una decisione visibile e non una sorpresa trimestrale.