Visão geral
Uma operadora de telecom tinha acumulado centenas de índices e muito mais sourcetypes, muitos deles quase duplicados. As buscas eram lentas, a retenção era inconsistente e o controle de acesso era impossível de entender. A AceMQ avaliou a arquitetura e produziu um desenho de consolidação.
Desafio
Cada nova fonte de dados tinha recebido um índice próprio por padrão, então retenção, controle de acesso e armazenamento em camadas precisavam ser configurados centenas de vezes, e muitas vezes não eram. Os sourcetypes tinham sido atribuídos automaticamente, gerando várias variantes do mesmo formato de log com extrações de campos diferentes; assim, uma busca sobre um tipo lógico de dado exigia listar cada variante manualmente. Os analistas frequentemente deixavam dados de fora porque não sabiam que uma variante existia.
Ambiente
Cluster de indexers Splunk on-premises com centenas de índices de dados de rede, segurança e aplicações.
Abordagem
A avaliação agrupa índices e sourcetypes pelos requisitos reais de controle de acesso e retenção, e não pelo sistema de origem, que é o que deveria definir os limites dos índices desde o início. Medimos os padrões de busca para confirmar que o agrupamento corresponde à forma como as pessoas realmente consultam os dados e, em seguida, desenhamos um layout consolidado com um caminho de migração que não quebra as buscas salvas existentes.
Solução
- Inventário completo de índices e sourcetypes, com volume, configuração de retenção e controle de acesso de cada item
- Agrupamento das variantes de sourcetype pelo formato real do log, para identificar as duplicatas que devem ser unificadas
- Análise dos padrões de busca para confirmar que os limites de índice propostos correspondem à forma como os analistas realmente consultam os dados
- Desenho de índices consolidado, orientado por requisitos de retenção e controle de acesso, e não pela identidade do sistema de origem
- Padronização das extrações de campos por sourcetype consolidado, para que uma única busca cubra o que antes exigia várias
- Plano de migração que preserva as buscas salvas existentes por meio de macros e aliases, para que nenhum dashboard quebre no cutover
Resultado obtido
O número de índices caiu para um conjunto gerenciável, com retenção e controle de acesso definidos uma única vez por camada, e não por fonte. Buscas que antes exigiam enumerar variantes de sourcetype agora rodam sobre um único tipo consolidado, e os analistas deixaram de perder dados que nem sabiam que existiam.