Voltar para todos os casos de uso

ConsultoriaMultissetorial

Reduzir o volume de ingestão sem cortar os dados de que alguém realmente precisa

Provedor global de logística

Projeto de consultoria para reduzir o volume diário de ingestão do Splunk por meio de filtragem, roteamento e armazenamento em camadas, sem perder cobertura de segurança ou de conformidade.

Visão geral

Um provedor de logística ultrapassava repetidamente o volume de ingestão contratado do Splunk e tinha pela frente uma renovação cara. A AceMQ analisou de onde vinha o volume e desenhou uma estratégia de filtragem e de armazenamento em camadas que preservou todas as capacidades necessárias de detecção e de auditoria.

Desafio

Uma grande parte da ingestão diária vinha de um punhado de fontes ruidosas: logs de acesso web verbosos, incluindo requisições de arquivos estáticos, saída de debug que tinha sido ativada durante um incidente antigo e nunca desligada, e coleta duplicada, com dois agentes encaminhando os mesmos arquivos. Nenhum desses dados era referenciado por qualquer regra de detecção ou requisito de conformidade, mas ninguém conseguia provar isso sem uma análise, e nenhuma equipe queria ser a que apagou o log que acabou se revelando importante.

Ambiente

Implantação híbrida do Splunk ingerindo dados de fontes em nuvem e on-premises, sujeita a requisitos de detecção de segurança e de retenção para auditoria.

Abordagem

Começamos pelo lado dos requisitos: cada regra de detecção, dashboard e obrigação de conformidade é mapeada para os dados de que depende. Tudo o que não aparece nesse mapa é candidato a filtragem. Dados de alto volume com valor ocasional são roteados para armazenamento de objetos barato, onde continuam recuperáveis, em vez de descartados. A filtragem acontece na camada de forwarding, para que o volume seja reduzido antes de ser contabilizado.

Solução

  1. Atribuição do volume de ingestão por fonte, sourcetype e host, para classificar com precisão quem mais contribui
  2. Mapeamento de cada regra de detecção, busca agendada e requisito de conformidade para os dados de que depende
  3. Roteamento para null queue, na camada de forwarding, das classes de eventos comprovadamente não referenciadas por nada
  4. Redução das fontes verbosas na origem: logging de debug desativado, requisições de arquivos estáticos excluídas e coleta duplicada eliminada
  5. Roteamento dos dados de alto volume e utilidade ocasional para armazenamento de objetos, com um caminho de recuperação para investigações
  6. Inclusão de monitoramento de volume e de orçamentos por fonte, para que uma futura mudança de logging não consuma a folga silenciosamente

Resultado obtido

A ingestão diária caiu cerca de um terço sem que nenhuma regra de detecção ou obrigação de conformidade perdesse seus dados de origem, o que mudou substancialmente a negociação da renovação. Desde então, os orçamentos por fonte já detectaram uma mudança no logging de debug antes que ela afetasse a licença.

Tecnologias

SplunkAmazon S3LinuxKafka

Precisa de orientação de arquitetura para Splunk?

Os engenheiros Splunk sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.