Descripción general
Un operador de telecomunicaciones había acumulado cientos de índices y muchos más sourcetypes, buena parte de ellos casi duplicados. Las búsquedas eran lentas, la retención era incoherente y el control de acceso era imposible de razonar. AceMQ evaluó la arquitectura y elaboró un diseño de consolidación.
Reto
Cada nueva fuente de datos había recibido por defecto su propio índice, así que la retención, el control de acceso y el almacenamiento por niveles había que configurarlos cientos de veces, y a menudo no se hacía. Los sourcetypes se habían asignado automáticamente, lo que produjo muchas variantes del mismo formato de log con extracciones de campos distintas, de modo que buscar en un tipo de datos lógico obligaba a enumerar a mano todas las variantes. Los analistas pasaban por alto datos con frecuencia porque no sabían que existía una variante.
Entorno
Clúster de indexadores de Splunk on-premise con cientos de índices de datos de red, seguridad y aplicaciones.
Enfoque
La evaluación agrupa índices y sourcetypes según sus requisitos reales de control de acceso y retención, y no según su sistema de origen, porque eso es lo que debería definir los límites de los índices desde el principio. Medimos los patrones de búsqueda para confirmar que la agrupación coincide con la forma en que se consulta realmente y después diseñamos una estructura consolidada con una ruta de migración que no rompe las búsquedas guardadas existentes.
Solución
- Inventario completo de índices y sourcetypes con el volumen, la configuración de retención y el control de acceso de cada entrada
- Agrupación de las variantes de sourcetype por formato real de log para identificar los duplicados que deben fusionarse en uno solo
- Análisis de los patrones de búsqueda para confirmar que los límites de índice propuestos coinciden con la forma en que los analistas consultan realmente los datos
- Diseño de índices consolidado en función de los requisitos de retención y control de acceso, no de la identidad del sistema de origen
- Extracción de campos estandarizada por sourcetype consolidado, de modo que una sola búsqueda cubre lo que antes requería muchas
- Plan de migración que conserva las búsquedas guardadas existentes mediante macros y alias, para que ningún dashboard se rompa en el momento del cambio
Resultado final
El número de índices se redujo a un conjunto manejable, con la retención y el control de acceso definidos una sola vez por nivel en lugar de por fuente. Las búsquedas que antes obligaban a enumerar variantes de sourcetype se ejecutan ahora sobre un único tipo consolidado, y los analistas dejaron de pasar por alto datos cuya existencia desconocían.