Torna a tutti i casi d'uso

ConsulenzaTrasversale

Ridurre il volume di ingest senza tagliare i dati che servono davvero

Fornitore globale di servizi logistici

Consulenza per ridurre il volume di ingest giornaliero di Splunk tramite filtri, routing e tiering, senza perdere copertura di sicurezza o di conformità.

Panoramica

Un fornitore di servizi logistici superava ripetutamente il proprio volume di ingest Splunk e si trovava davanti a un rinnovo costoso. AceMQ ha analizzato da dove arrivasse il volume e ha progettato una strategia di filtri e tiering che preservasse ogni capacità di detection e di audit richiesta.

Sfida

Una quota consistente dell'ingest giornaliero proveniva da poche sorgenti molto rumorose: log di accesso web verbosi, comprese le richieste di asset statici, output di debug attivato durante un vecchio incidente e mai disattivato, e raccolte duplicate in cui due agent inoltravano gli stessi file. Nessuno di questi dati era referenziato da una regola di detection o da un requisito di conformità, ma nessuno poteva dimostrarlo senza un'analisi, e nessun team voleva essere quello che aveva cancellato il log poi rivelatosi importante.

Ambiente

Deployment Splunk ibrido con ingest da sorgenti cloud e on-premises, soggetto a requisiti di detection di sicurezza e di retention per l'audit.

Approccio

Partiamo dai requisiti: ogni regola di detection, dashboard e obbligo di conformità viene mappato sui dati da cui dipende. Tutto ciò che non compare in questa mappa è candidato al filtraggio. I dati ad alto volume e di valore occasionale vengono instradati verso un object storage economico, dove restano recuperabili anziché essere scartati. Il filtraggio avviene a livello di forwarding, così che il volume venga ridotto prima di essere conteggiato.

Soluzione

  1. Volume di ingest attribuito per sorgente, sourcetype e host, per classificare con precisione chi contribuisce
  2. Ogni regola di detection, ricerca pianificata e requisito di conformità mappato sui dati da cui dipende
  3. Routing verso la null queue applicato a livello di forwarding per le classi di eventi che, dimostrabilmente, nulla referenzia
  4. Sorgenti verbose ridotte all'origine: logging di debug disattivato, richieste di asset statici escluse, raccolte duplicate eliminate
  5. Dati ad alto volume e utili solo occasionalmente instradati verso object storage, con un percorso di recupero per le indagini
  6. Monitoraggio dei volumi e budget per sorgente, così che una futura modifica al logging non possa erodere in silenzio il margine disponibile

Esito

L'ingest giornaliero è calato di circa un terzo senza che alcuna regola di detection o obbligo di conformità perdesse i propri dati di origine, cambiando in modo sostanziale i termini della trattativa di rinnovo. Da allora i budget per sorgente hanno intercettato una modifica al logging di debug prima che incidesse sulla licenza.

Tecnologie

SplunkAmazon S3LinuxKafka

Vi servono indicazioni sull'architettura Splunk?

Gli ingegneri Splunk senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.