Panoramica
Le search head Splunk di un gruppo di servizi finanziari erano sature: le ricerche schedulate venivano saltate regolarmente e gli analisti impegnati in un'indagine trovavano le proprie ricerche in coda dietro i job di reportistica. AceMQ fornisce supporto continuativo per il tuning del carico di ricerca.
Sfida
Nel corso degli anni erano state create centinaia di ricerche schedulate, la maggior parte impostate per girare ogni cinque minuti su una finestra di ventiquattro ore indipendentemente dall'effettiva necessità. I limiti di concorrenza venivano raggiunti di continuo, quindi lo scheduler saltava delle ricerche, comprese alcune che alimentavano la reportistica di compliance: nessuno se ne accorgeva, perché per impostazione predefinita le ricerche saltate non generano alcun alert. Molte delle ricerche più pesanti eseguivano scansioni di eventi raw dove un'accelerazione del data model o un summary index sarebbero stati più adatti.
Ambiente
Search head cluster Splunk on-premise al servizio dei team di security operations, reportistica di compliance e business analytics.
Approccio
Qui il supporto è un tuning continuo e non un intervento una tantum, perché il carico di ricerca torna a crescere. Monitoriamo il tasso di ricerche saltate e il costo delle ricerche per owner, riscriviamo quelle costose, distribuiamo la schedulazione perché non partano tutte sullo stesso confine temporale e riserviamo capacità di concorrenza, così che un analista che indaga su un incidente non finisca mai in coda dietro un report.
Soluzione
- Supporto 24/7 con obiettivi di risposta da 15 minuti, in base al piano, e ingegneri senior dedicati che conoscono il parco di ricerche e i relativi owner
- Alert sulle ricerche saltate configurati in modo che le lacune nella reportistica di compliance emergano subito invece di passare inosservate
- Profilazione del costo delle ricerche per owner e per app, con le ricerche ordinate per consumo di risorse anziché per numero di lamentele
- Ricerche pesanti basate su scansioni raw riscritte su data model accelerati o summary index dove la forma della query lo consente
- Finestre di schedulazione e sfasamento dei cron applicati in modo che le ricerche smettano di concentrarsi sullo stesso confine di intervallo
- Regole di workload management che riservano concorrenza alle indagini ad hoc, separandola dalla reportistica schedulata
Esito
Le ricerche saltate sono scese a un tasso trascurabile e la lacuna nella reportistica di compliance è stata colmata. Gli analisti impegnati in un'indagine vedono ora le proprie ricerche schedulate immediatamente, senza attendere dietro i job di reportistica.