Torna a tutti i casi d'uso

RemediationPubblica amministrazione / Difesa

Correggere una pipeline di ingestion che accumula ore di ritardo senza dare segnali

Ente della pubblica amministrazione

Risanamento di una pipeline di ingestion Splunk in cui le code dei forwarder si saturavano e gli eventi di sicurezza arrivavano con ore di ritardo nei periodi di picco.

Panoramica

Un ente della pubblica amministrazione aveva scoperto che, nei periodi di maggiore attività, gli eventi di sicurezza raggiungevano gli indici Splunk con ore di ritardo. Le regole di rilevamento scattavano così tardi da risultare inutili. AceMQ ha risanato l'intero percorso di ingestion tra forwarder, livelli intermedi e indexer.

Sfida

Gli universal forwarder si bloccavano sulle code di output piene, per cui gli input di monitoraggio dei file smettevano di leggere e il backlog si accumulava su disco. Il vero collo di bottiglia era il livello intermedio di heavy forwarder: eseguiva in linea, per ogni evento, trasformazioni basate su regex molto onerose ed era saturo di CPU ben prima degli indexer. Poiché le metriche delle code dei forwarder non erano monitorate, l'unico sintomo visibile era il ritardo dei dati, che tutti attribuivano agli indexer.

Ambiente

Splunk on-premise con universal forwarder su diverse migliaia di host, un livello intermedio di heavy forwarder e un indexer cluster.

Approccio

Abbiamo strumentato la pipeline fase per fase per individuare dove gli eventi si accodavano davvero, invece di aggiungere capacità agli indexer sulla base di un'ipotesi. Una volta identificato nel livello di heavy forwarder il vincolo reale, abbiamo spostato l'elaborazione più onerosa nel punto in cui deve stare riducendone il volume, quindi abbiamo ribilanciato la topologia di forwarding in modo che un singolo percorso lento non possa più bloccare migliaia di sorgenti.

Soluzione

  1. Metriche di riempimento delle code raccolte in ogni fase della pipeline per individuare il collo di bottiglia reale invece di dedurlo
  2. Audit delle trasformazioni in linea più onerose, con eliminazione delle regex superflue e spostamento delle restanti alla sola fase di indicizzazione dove necessario
  3. Ridimensionamento del livello di heavy forwarder e abilitazione delle pipeline di ingestion parallele per sfruttare correttamente i core disponibili
  4. Ribilanciamento degli output group dei forwarder con tuning di autoLB, così che un singolo indexer lento non blocchi più le sorgenti a monte
  5. Persistent queue configurate sugli input, così che un blocco a valle venga assorbito dal buffer invece di fermare la lettura
  6. Alert sulla saturazione delle code, così che il ritardo di ingestion venga rilevato mentre si forma e non segnalato dagli analisti

Esito

Nei periodi di picco il ritardo di ingestion è passato da ore a un tempo quasi reale e le regole di rilevamento ora scattano su dati aggiornati. Da allora gli alert sulle code hanno intercettato due backlog in formazione prima che diventassero visibili agli analisti.

Tecnologie

SplunkLinuxSyslogKubernetes

Avete un problema di produzione su Splunk?

Gli ingegneri Splunk senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.