Visão geral
Um operador logístico rodava ELK em sites na nuvem e on-premises sem um responsável dedicado pela plataforma. Os problemas de ingestão costumavam aparecer como dados faltando nos dashboards dias depois. A AceMQ oferece suporte contínuo em todo o caminho de ingestão.
Desafio
As falhas estavam espalhadas pelas camadas, e ninguém era dono da cadeia inteira. Conflitos de mapeamento rejeitavam documentos silenciosamente quando dois serviços usavam o mesmo nome de campo com tipos diferentes — os dados simplesmente nunca chegavam, e não havia alerta para rejeições. Os index templates divergiam entre ambientes, então um pipeline validado em staging se comportava de outro jeito em produção. Os agentes Beats em hosts mais antigos rodavam versões que já tinham saído da faixa de compatibilidade suportada com o cluster.
Ambiente
Implantação híbrida de ELK com agentes Beats em sites na nuvem e on-premises, com várias equipes contribuindo com configuração de pipelines.
Abordagem
O suporte cobre o pipeline de ponta a ponta, porque é ali que as falhas acontecem. Alertamos sobre rejeições de documentos para que a perda silenciosa de dados fique visível, mantemos index templates e definições de pipeline sob controle de versão com paridade entre ambientes e gerenciamos a compatibilidade de versões dos Beats como uma atividade programada, e não como uma emergência.
Solução
- Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados cobrindo todo o caminho de ingestão
- Alertas de rejeição de documentos e de conflitos de mapeamento, para que dados descartados silenciosamente apareçam na hora
- Index templates e component templates padronizados com uma convenção de nomes de campos que evita conflitos de tipo
- Definições de pipelines e templates mantidas sob controle de versão, com paridade obrigatória entre staging e produção
- Inventário de versões dos agentes Beats e uma cadência programada de upgrades que mantém a frota dentro da faixa suportada
- Revisão de mudanças nos pipelines antes que cheguem à produção, com rollback definido para cada mudança
Resultado obtido
As rejeições silenciosas de documentos agora são detectadas em minutos, em vez de aparecerem como dados faltando nos dashboards dias depois. A divergência entre staging e produção praticamente acabou desde que os templates passaram para o controle de versão.