Volver a todos los casos de uso

ConsultoríaMultisectorial

Reducir el volumen de ingesta sin recortar los datos que alguien realmente necesita

Proveedor global de logística

Proyecto de consultoría para reducir el volumen diario de ingesta de Splunk mediante filtrado, enrutamiento y almacenamiento por niveles, sin perder cobertura de seguridad ni de cumplimiento.

Descripción general

Un proveedor de logística superaba una y otra vez su volumen de ingesta de Splunk y enfrentaba una renovación costosa. AceMQ analizó de dónde salía el volumen y diseñó una estrategia de filtrado y almacenamiento por niveles que preservó todas las capacidades de detección y auditoría requeridas.

Desafío

Una gran parte de la ingesta diaria provenía de unas pocas fuentes ruidosas: logs de acceso web muy verbosos que incluían las solicitudes de recursos estáticos, salida de debug que se había habilitado durante un incidente antiguo y nunca se apagó, y recolección duplicada en la que dos agentes reenviaban los mismos archivos. Ninguno de esos datos era referenciado por una regla de detección ni por un requisito de cumplimiento, pero nadie podía demostrarlo sin un análisis, y ningún equipo quería ser el que borrara el log que resultara importante.

Entorno

Despliegue híbrido de Splunk que ingiere datos de fuentes en la nube y on-premise, sujeto a requisitos de detección de seguridad y de retención para auditoría.

Enfoque

Partimos de los requisitos: cada regla de detección, dashboard y obligación de cumplimiento se mapea a los datos de los que depende. Todo lo que ese mapa no referencia es candidato a filtrarse. Los datos de alto volumen con valor ocasional se enrutan a almacenamiento de objetos económico, donde siguen siendo recuperables en lugar de descartarse. El filtrado se hace en la capa de forwarding, para que el volumen se reduzca antes de contabilizarse.

Solución

  1. Volumen de ingesta atribuido por fuente, sourcetype y host para ordenar con precisión a los que más aportan
  2. Mapeo de cada regla de detección, búsqueda programada y requisito de cumplimiento a los datos de los que depende
  3. Enrutamiento a null queue en la capa de forwarding para las clases de eventos que comprobadamente nada referencia
  4. Reducción de las fuentes verbosas en el origen: logging de debug deshabilitado, solicitudes de recursos estáticos excluidas y recolección duplicada eliminada
  5. Datos de alto volumen y utilidad ocasional enrutados a almacenamiento de objetos, con una vía de recuperación para las investigaciones
  6. Monitoreo del volumen y presupuestos por fuente, para que un cambio futuro en el logging no pueda consumir el margen sin que nadie lo note

Resultado final

La ingesta diaria bajó aproximadamente un tercio sin que ninguna regla de detección ni obligación de cumplimiento perdiera sus datos de origen, lo que cambió de forma sustancial la conversación sobre la renovación. Desde entonces, los presupuestos por fuente detectaron un cambio de logging de debug antes de que afectara la licencia.

Tecnologías

SplunkAmazon S3LinuxKafka

¿Necesita orientación de arquitectura para Splunk?

Los ingenieros sénior de Splunk de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.