Visão geral
Uma processadora de pagamentos acreditava que todo o seu ambiente estava instrumentado, até que uma indisponibilidade em um componente sem cobertura levou horas para ser localizada. A AceMQ avaliou a cobertura real em serviços, dependências e processamento em segundo plano.
Desafio
A cobertura parecia completa porque todo serviço implantado tinha um agente associado. O que o inventário não mostrava era que vários caminhos de código críticos continuavam invisíveis: workers em segundo plano e jobs agendados não geravam transações porque nada marcava seus pontos de entrada, camadas próprias de acesso a banco de dados não eram reconhecidas pela auto-instrumentação, e chamadas de saída feitas por um wrapper interno de cliente HTTP apareciam como segmentos externos genéricos, sem identificação do destino. O mapa mostrava cobertura; na realidade havia buracos exatamente onde a depuração era mais difícil.
Ambiente
Ambiente híbrido com serviços em Java e Node.js, processamento em lote agendado e bibliotecas próprias de acesso a dados e de cliente HTTP.
Abordagem
Em vez de contar agentes, a avaliação compara a telemetria que cada serviço realmente produz com o que ele realmente faz. Confrontamos o inventário de implantações com as entidades que reportam dados, inspecionamos os dados de transações e segmentos de cada serviço em busca dos formatos esperados e investigamos especificamente as áreas que a auto-instrumentação sabidamente não cobre.
Solução
- Conciliação do inventário de implantações com as entidades que reportam dados, para encontrar serviços implantados que silenciosamente não reportam nada
- Inspeção dos dados de transações e segmentos de cada serviço em busca dos formatos esperados, em vez de presumir que um agente associado significa cobertura
- Verificação específica de workers em segundo plano, jobs agendados e loops de consumidores, que raramente são instrumentados automaticamente
- Identificação dos wrappers próprios de acesso a dados e de cliente HTTP como pontos cegos de instrumentação, com correção explícita definida
- Mapeamento da cobertura de alertas e dashboards em relação aos caminhos críticos para o negócio, para encontrar componentes monitorados sem nenhum alerta
- Backlog de correções priorizado pelo raio de impacto, com estimativa de esforço por item
Resultado obtido
Cerca de um quinto dos caminhos de código críticos para o negócio se revelou invisível para o APM, apesar da presença dos agentes. Com instrumentação customizada adicionada às lacunas de maior prioridade, o tipo de indisponibilidade que antes levava horas para ser localizado agora fica visível nos primeiros minutos.