Descripción general
Un operador de telecomunicaciones había acumulado cientos de índices y muchos más sourcetypes, muchos de ellos casi duplicados. Las búsquedas eran lentas, la retención era inconsistente y era imposible razonar sobre el control de acceso. AceMQ evaluó la arquitectura y elaboró un diseño de consolidación.
Desafío
Cada nueva fuente de datos había recibido su propio índice por defecto, así que la retención, el control de acceso y el almacenamiento por niveles se tenían que configurar cientos de veces, y muchas veces no se hacía. Los sourcetypes se habían asignado automáticamente, lo que produjo muchas variantes del mismo formato de log con distintas extracciones de campos, de modo que una búsqueda sobre un tipo de dato lógico exigía listar cada variante a mano. Los analistas con frecuencia pasaban por alto datos porque no sabían que existía una variante.
Entorno
Clúster de indexers de Splunk on-premise con cientos de índices de datos de red, seguridad y aplicaciones.
Enfoque
La evaluación agrupa los índices y sourcetypes según sus requisitos reales de control de acceso y retención, y no según su sistema de origen, que es lo que debería definir los límites de los índices desde el principio. Medimos los patrones de búsqueda para confirmar que la agrupación coincide con la forma en que la gente realmente consulta, y luego diseñamos una estructura consolidada con un plan de migración que no rompe las búsquedas guardadas existentes.
Solución
- Inventario completo de índices y sourcetypes con volumen, configuración de retención y control de acceso de cada entrada
- Agrupamiento de las variantes de sourcetype según el formato de log real para identificar los duplicados que deberían fusionarse en uno
- Análisis de los patrones de búsqueda para confirmar que los límites de índice propuestos coinciden con la forma en que los analistas realmente consultan los datos
- Diseño de índices consolidado según los requisitos de retención y control de acceso, no según la identidad del sistema de origen
- Estandarización de la extracción de campos por sourcetype consolidado, para que una sola búsqueda cubra lo que antes requería muchas
- Plan de migración que preserva las búsquedas guardadas existentes mediante macros y alias, para que ningún dashboard se rompa en el cutover
Resultado final
La cantidad de índices se redujo a un conjunto manejable, con la retención y el control de acceso definidos una sola vez por nivel en lugar de por fuente. Las búsquedas que antes requerían enumerar variantes de sourcetype ahora se ejecutan sobre un único tipo consolidado, y los analistas dejaron de pasar por alto datos cuya existencia desconocían.