Voltar para todos os casos de uso

AvaliaçãoMultissetorial

Descobrir quais campos você indexa e que ninguém nunca pesquisa

Prestadora de serviços para seguradoras

Avaliação do volume de logs, da utilidade de cada campo e da retenção em um ambiente ELK em que o crescimento do armazenamento tinha superado qualquer planejamento.

Visão geral

O cluster ELK de uma prestadora de serviços para seguradoras tinha estourado sua capacidade de armazenamento duas vezes em dezoito meses, sem um motivo claro. A AceMQ avaliou o que realmente estava sendo indexado e quanto disso alguém usava.

Desafio

O mapeamento dinâmico padrão fazia com que todos os campos de todas as linhas de log em JSON fossem indexados e armazenados, inclusive grandes estruturas aninhadas que ninguém jamais tinha pesquisado. Vários serviços registravam os corpos completos de requisições e respostas no nível info. A retenção era uniforme em todos os índices, independentemente do valor, então logs de aplicação no nível debug eram mantidos pelo mesmo tempo que os registros de auditoria. A curva de crescimento do armazenamento não tinha relação com o crescimento do negócio, mas ninguém tinha os dados por campo para explicá-la.

Ambiente

Cluster ELK on-premises ingerindo logs de aplicações, de infraestrutura e de auditoria de toda a empresa.

Abordagem

A avaliação mede o consumo de armazenamento no nível dos campos, não apenas no nível dos índices, e cruza isso com o uso em pesquisas e dashboards. Essa combinação mostra com precisão quais campos custam mais e retornam menos, o que transforma a retenção de uma discussão sobre políticas em uma decisão baseada em evidências.

Solução

  1. Atribuição do armazenamento por campo em cada index pattern, com análise de uso de disco em vez de apenas os totais por índice
  2. Cruzamento do uso dos campos com pesquisas salvas, dashboards e histórico de consultas, para encontrar campos indexados que nunca são pesquisados
  3. Revisão do comportamento do mapeamento dinâmico em cada padrão, identificando onde mapeamentos explícitos devem substituí-lo
  4. Identificação na origem do registro de payloads grandes, com recomendações para amostrar ou truncar os corpos de requisições e respostas
  5. Proposta de níveis de retenção por classe de dados, para que logs de debug e registros de auditoria deixem de compartilhar a mesma política de retenção
  6. Modelo de projeção de armazenamento mostrando a curva de crescimento antes e depois das mudanças recomendadas

Resultado obtido

A avaliação mostrou que uma grande parcela dos campos indexados nunca tinha aparecido em nenhuma consulta. Com mapeamentos explícitos e retenção em níveis, o crescimento projetado do armazenamento se estabilizou o suficiente para cancelar a próxima expansão planejada.

Tecnologias

ELK StackElasticsearchKibanaLogstash

Pronto para um health check do ELK Stack?

Os engenheiros ELK Stack sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.