Panoramica
Un operatore di telecomunicazioni aveva accumulato centinaia di indici e un numero ancora maggiore di sourcetype, molti dei quali quasi duplicati. Le ricerche erano lente, la retention incoerente e il controllo degli accessi impossibile da ricostruire con certezza. AceMQ ha valutato l'architettura e prodotto un design di consolidamento.
Sfida
Ogni nuova sorgente dati aveva ricevuto per default un proprio indice, per cui retention, controllo degli accessi e tiering dello storage andavano configurati centinaia di volte, e spesso non lo erano. I sourcetype erano stati assegnati automaticamente, generando molte varianti dello stesso formato di log con estrazioni dei campi diverse: una ricerca su un tipo di dato logico richiedeva quindi di elencare a mano ogni variante. Gli analisti perdevano spesso dati perché non sapevano che una certa variante esistesse.
Ambiente
Cluster di indexer Splunk on-premises con centinaia di indici per dati di rete, di sicurezza e applicativi.
Approccio
L'assessment raggruppa indici e sourcetype in base ai reali requisiti di controllo degli accessi e di retention anziché al sistema di origine, perché sono proprio questi requisiti a dover definire i confini degli indici. Misuriamo i pattern di ricerca per confermare che il raggruppamento rispecchi il modo in cui le persone interrogano davvero i dati, quindi progettiamo un layout consolidato con un percorso di migrazione che non rompe le ricerche salvate esistenti.
Soluzione
- Inventario completo di indici e sourcetype con volume, impostazione di retention e configurazione del controllo degli accessi per ciascuna voce
- Varianti di sourcetype raggruppate in base al formato di log effettivo, per individuare i duplicati da riunire in uno solo
- Analisi dei pattern di ricerca per confermare che i confini proposti per gli indici corrispondano al modo in cui gli analisti interrogano realmente i dati
- Design consolidato degli indici guidato dai requisiti di retention e di controllo degli accessi, non dal sistema di origine
- Estrazione dei campi standardizzata per ciascun sourcetype consolidato, così che una sola ricerca copra ciò che prima ne richiedeva molte
- Piano di migrazione che preserva le ricerche salvate esistenti tramite macro e alias, così che nessuna dashboard si rompa al cutover
Esito
Il numero di indici è sceso a un insieme gestibile, con retention e controllo degli accessi definiti una sola volta per tier anziché per singola sorgente. Le ricerche che prima richiedevano di elencare le varianti di sourcetype ora girano su un unico tipo consolidato, e gli analisti non perdono più dati di cui ignoravano l'esistenza.