Visão geral
Uma processadora de pagamentos tinha o APM ativado de forma ampla, mas os traces terminavam com frequência na fronteira entre serviços mais novos e mais antigos. A AceMQ avaliou a cobertura de instrumentação em todo o ambiente para identificar exatamente onde a propagação de contexto se rompia.
Desafio
Os serviços mais novos usavam auto-instrumentação, enquanto vários dos mais antigos tinham sido instrumentados manualmente anos antes, com uma versão muito mais antiga da biblioteca. Quando uma requisição passava de um para outro, os cabeçalhos de contexto do trace se perdiam, e uma única transação lógica aparecia como vários traces sem relação entre si. Os saltos assíncronos pelos message brokers perdiam o contexto por completo. O resultado era que a latência nas partes do sistema que mais importavam para o negócio ficava invisível, enquanto os serviços bem instrumentados pareciam totalmente cobertos.
Ambiente
Ambiente híbrido com serviços em Kubernetes e aplicações legadas hospedadas em máquinas virtuais, em Java e Python, com mensageria entre as camadas.
Abordagem
A avaliação faz o inventário das versões da biblioteca de tracing e do método de instrumentação de cada serviço e, depois, rastreia de ponta a ponta caminhos reais de requisições em produção para encontrar onde o contexto realmente se perde. Como a AceMQ não opera a plataforma do fornecedor, todos os achados dizem respeito ao código, às bibliotecas e à configuração de propagação do cliente, ou seja, às partes que ele pode mudar.
Solução
- Inventário das versões da biblioteca de tracing e do método de instrumentação por serviço, sinalizando versões com padrões de propagação incompatíveis
- Rastreamento de ponta a ponta de caminhos reais de requisições em produção, para localizar o salto exato em que o contexto se perde
- Avaliação separada dos saltos assíncronos e orientados a mensagens, já que neles a propagação de contexto exige tratamento explícito do carrier
- Revisão da configuração de amostragem de cada serviço, para que as decisões de head-based sampling não descartem silenciosamente os traces que importam
- Plano de correção da instrumentação priorizado pelos caminhos críticos para o negócio, e não pela facilidade da correção
- Avaliação de um caminho de migração para instrumentação OpenTelemetry, neutra em relação ao fornecedor, nos serviços que já precisariam ser retrabalhados
Resultado obtido
A completude dos traces de ponta a ponta no caminho principal de pagamentos passou de fragmentada a quase total, o que revelou um fator de latência em um serviço legado que nunca tinha aparecido em nenhum dashboard. O backlog de correções está ordenado pelo impacto no negócio, e não pela equipe que se ofereceu primeiro.