Descripción general
Un proveedor de logística superaba una y otra vez su volumen de ingesta de Splunk y enfrentaba una renovación costosa. AceMQ analizó de dónde salía el volumen y diseñó una estrategia de filtrado y almacenamiento por niveles que preservó todas las capacidades de detección y auditoría requeridas.
Desafío
Una gran parte de la ingesta diaria provenía de unas pocas fuentes ruidosas: logs de acceso web muy verbosos que incluían las solicitudes de recursos estáticos, salida de debug que se había habilitado durante un incidente antiguo y nunca se apagó, y recolección duplicada en la que dos agentes reenviaban los mismos archivos. Ninguno de esos datos era referenciado por una regla de detección ni por un requisito de cumplimiento, pero nadie podía demostrarlo sin un análisis, y ningún equipo quería ser el que borrara el log que resultara importante.
Entorno
Despliegue híbrido de Splunk que ingiere datos de fuentes en la nube y on-premise, sujeto a requisitos de detección de seguridad y de retención para auditoría.
Enfoque
Partimos de los requisitos: cada regla de detección, dashboard y obligación de cumplimiento se mapea a los datos de los que depende. Todo lo que ese mapa no referencia es candidato a filtrarse. Los datos de alto volumen con valor ocasional se enrutan a almacenamiento de objetos económico, donde siguen siendo recuperables en lugar de descartarse. El filtrado se hace en la capa de forwarding, para que el volumen se reduzca antes de contabilizarse.
Solución
- Volumen de ingesta atribuido por fuente, sourcetype y host para ordenar con precisión a los que más aportan
- Mapeo de cada regla de detección, búsqueda programada y requisito de cumplimiento a los datos de los que depende
- Enrutamiento a null queue en la capa de forwarding para las clases de eventos que comprobadamente nada referencia
- Reducción de las fuentes verbosas en el origen: logging de debug deshabilitado, solicitudes de recursos estáticos excluidas y recolección duplicada eliminada
- Datos de alto volumen y utilidad ocasional enrutados a almacenamiento de objetos, con una vía de recuperación para las investigaciones
- Monitoreo del volumen y presupuestos por fuente, para que un cambio futuro en el logging no pueda consumir el margen sin que nadie lo note
Resultado final
La ingesta diaria bajó aproximadamente un tercio sin que ninguna regla de detección ni obligación de cumplimiento perdiera sus datos de origen, lo que cambió de forma sustancial la conversación sobre la renovación. Desde entonces, los presupuestos por fuente detectaron un cambio de logging de debug antes de que afectara la licencia.