Descripción general
Un proveedor logístico superaba una y otra vez su volumen de ingesta de Splunk y se enfrentaba a una renovación costosa. AceMQ analizó de dónde procedía el volumen y diseñó una estrategia de filtrado y de almacenamiento por niveles que conservaba todas las capacidades de detección y auditoría necesarias.
Reto
Una gran parte de la ingesta diaria procedía de un puñado de fuentes ruidosas: logs de acceso web muy verbosos que incluían las peticiones de recursos estáticos, salida debug activada durante un antiguo incidente que nunca se desactivó y recolección duplicada en la que dos agentes reenviaban los mismos ficheros. Ninguna regla de detección ni ningún requisito de cumplimiento hacía referencia a esos datos, pero nadie podía demostrarlo sin un análisis, y ningún equipo quería ser el que borrara el log que acabara resultando importante.
Entorno
Despliegue híbrido de Splunk con ingesta desde fuentes en la nube y on-premise, sujeto a requisitos de detección de seguridad y de retención para auditoría.
Enfoque
Empezamos por el lado de los requisitos: cada regla de detección, dashboard y obligación de cumplimiento se vincula con los datos de los que depende. Todo lo que no figura en ese mapa es candidato a filtrarse. Los datos de gran volumen con valor ocasional se envían a almacenamiento de objetos barato, donde siguen siendo recuperables en lugar de descartarse. El filtrado se hace en la capa de reenvío para que el volumen se reduzca antes de contabilizarse.
Solución
- Atribución del volumen de ingesta por fuente, sourcetype y host para clasificar con precisión a los contribuyentes
- Vinculación de cada regla de detección, búsqueda programada y requisito de cumplimiento con los datos de los que depende
- Enrutamiento a la null queue en la capa de reenvío de las clases de eventos que se ha demostrado que nada referencia
- Reducción de las fuentes verbosas en origen: logging debug desactivado, peticiones de recursos estáticos excluidas y recolección duplicada eliminada
- Envío de los datos de gran volumen y utilidad ocasional a almacenamiento de objetos, con una vía de recuperación para las investigaciones
- Monitorización del volumen y presupuestos por fuente para que un cambio futuro en el logging no pueda consumir el margen sin que nadie lo note
Resultado final
La ingesta diaria cayó aproximadamente un tercio sin que ninguna regla de detección ni ninguna obligación de cumplimiento perdiera sus datos de origen, lo que cambió de forma sustancial la negociación de la renovación. Desde entonces, los presupuestos por fuente han detectado un cambio en el logging debug antes de que afectara a la licencia.