Volver a todos los casos de uso

ConsultoríaMultisectorial

Recortar la ingesta sin recortar los datos que alguien necesita de verdad

Proveedor logístico global

Proyecto de consultoría para reducir el volumen de ingesta diaria de Splunk mediante filtrado, enrutamiento y almacenamiento por niveles sin perder cobertura de seguridad ni de cumplimiento normativo.

Descripción general

Un proveedor logístico superaba una y otra vez su volumen de ingesta de Splunk y se enfrentaba a una renovación costosa. AceMQ analizó de dónde procedía el volumen y diseñó una estrategia de filtrado y de almacenamiento por niveles que conservaba todas las capacidades de detección y auditoría necesarias.

Reto

Una gran parte de la ingesta diaria procedía de un puñado de fuentes ruidosas: logs de acceso web muy verbosos que incluían las peticiones de recursos estáticos, salida debug activada durante un antiguo incidente que nunca se desactivó y recolección duplicada en la que dos agentes reenviaban los mismos ficheros. Ninguna regla de detección ni ningún requisito de cumplimiento hacía referencia a esos datos, pero nadie podía demostrarlo sin un análisis, y ningún equipo quería ser el que borrara el log que acabara resultando importante.

Entorno

Despliegue híbrido de Splunk con ingesta desde fuentes en la nube y on-premise, sujeto a requisitos de detección de seguridad y de retención para auditoría.

Enfoque

Empezamos por el lado de los requisitos: cada regla de detección, dashboard y obligación de cumplimiento se vincula con los datos de los que depende. Todo lo que no figura en ese mapa es candidato a filtrarse. Los datos de gran volumen con valor ocasional se envían a almacenamiento de objetos barato, donde siguen siendo recuperables en lugar de descartarse. El filtrado se hace en la capa de reenvío para que el volumen se reduzca antes de contabilizarse.

Solución

  1. Atribución del volumen de ingesta por fuente, sourcetype y host para clasificar con precisión a los contribuyentes
  2. Vinculación de cada regla de detección, búsqueda programada y requisito de cumplimiento con los datos de los que depende
  3. Enrutamiento a la null queue en la capa de reenvío de las clases de eventos que se ha demostrado que nada referencia
  4. Reducción de las fuentes verbosas en origen: logging debug desactivado, peticiones de recursos estáticos excluidas y recolección duplicada eliminada
  5. Envío de los datos de gran volumen y utilidad ocasional a almacenamiento de objetos, con una vía de recuperación para las investigaciones
  6. Monitorización del volumen y presupuestos por fuente para que un cambio futuro en el logging no pueda consumir el margen sin que nadie lo note

Resultado final

La ingesta diaria cayó aproximadamente un tercio sin que ninguna regla de detección ni ninguna obligación de cumplimiento perdiera sus datos de origen, lo que cambió de forma sustancial la negociación de la renovación. Desde entonces, los presupuestos por fuente han detectado un cambio en el logging debug antes de que afectara a la licencia.

Tecnologías

SplunkAmazon S3LinuxKafka

¿Necesita asesoramiento de arquitectura para Splunk?

Los ingenieros sénior de Splunk de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.