Visão geral
O cluster ELK de uma prestadora de serviços para seguradoras tinha estourado sua capacidade de armazenamento duas vezes em dezoito meses, sem um motivo claro. A AceMQ avaliou o que realmente estava sendo indexado e quanto disso alguém usava.
Desafio
O mapeamento dinâmico padrão fazia com que todos os campos de todas as linhas de log em JSON fossem indexados e armazenados, inclusive grandes estruturas aninhadas que ninguém jamais tinha pesquisado. Vários serviços registravam os corpos completos de requisições e respostas no nível info. A retenção era uniforme em todos os índices, independentemente do valor, então logs de aplicação no nível debug eram mantidos pelo mesmo tempo que os registros de auditoria. A curva de crescimento do armazenamento não tinha relação com o crescimento do negócio, mas ninguém tinha os dados por campo para explicá-la.
Ambiente
Cluster ELK on-premises ingerindo logs de aplicações, de infraestrutura e de auditoria de toda a empresa.
Abordagem
A avaliação mede o consumo de armazenamento no nível dos campos, não apenas no nível dos índices, e cruza isso com o uso em pesquisas e dashboards. Essa combinação mostra com precisão quais campos custam mais e retornam menos, o que transforma a retenção de uma discussão sobre políticas em uma decisão baseada em evidências.
Solução
- Atribuição do armazenamento por campo em cada index pattern, com análise de uso de disco em vez de apenas os totais por índice
- Cruzamento do uso dos campos com pesquisas salvas, dashboards e histórico de consultas, para encontrar campos indexados que nunca são pesquisados
- Revisão do comportamento do mapeamento dinâmico em cada padrão, identificando onde mapeamentos explícitos devem substituí-lo
- Identificação na origem do registro de payloads grandes, com recomendações para amostrar ou truncar os corpos de requisições e respostas
- Proposta de níveis de retenção por classe de dados, para que logs de debug e registros de auditoria deixem de compartilhar a mesma política de retenção
- Modelo de projeção de armazenamento mostrando a curva de crescimento antes e depois das mudanças recomendadas
Resultado obtido
A avaliação mostrou que uma grande parcela dos campos indexados nunca tinha aparecido em nenhuma consulta. Com mapeamentos explícitos e retenção em níveis, o crescimento projetado do armazenamento se estabilizou o suficiente para cancelar a próxima expansão planejada.