Voltar para todos os casos de uso

AvaliaçãoServiços financeiros / pagamentos

Descobrir onde o trace para e por que ninguém percebeu

Processadora global de pagamentos

Avaliação da cobertura de instrumentação de APM e da completude dos traces em um conjunto de serviços em que os traces distribuídos viviam se quebrando nas fronteiras entre serviços.

Visão geral

Uma processadora de pagamentos tinha o APM ativado de forma ampla, mas os traces terminavam com frequência na fronteira entre serviços mais novos e mais antigos. A AceMQ avaliou a cobertura de instrumentação em todo o ambiente para identificar exatamente onde a propagação de contexto se rompia.

Desafio

Os serviços mais novos usavam auto-instrumentação, enquanto vários dos mais antigos tinham sido instrumentados manualmente anos antes, com uma versão muito mais antiga da biblioteca. Quando uma requisição passava de um para outro, os cabeçalhos de contexto do trace se perdiam, e uma única transação lógica aparecia como vários traces sem relação entre si. Os saltos assíncronos pelos message brokers perdiam o contexto por completo. O resultado era que a latência nas partes do sistema que mais importavam para o negócio ficava invisível, enquanto os serviços bem instrumentados pareciam totalmente cobertos.

Ambiente

Ambiente híbrido com serviços em Kubernetes e aplicações legadas hospedadas em máquinas virtuais, em Java e Python, com mensageria entre as camadas.

Abordagem

A avaliação faz o inventário das versões da biblioteca de tracing e do método de instrumentação de cada serviço e, depois, rastreia de ponta a ponta caminhos reais de requisições em produção para encontrar onde o contexto realmente se perde. Como a AceMQ não opera a plataforma do fornecedor, todos os achados dizem respeito ao código, às bibliotecas e à configuração de propagação do cliente, ou seja, às partes que ele pode mudar.

Solução

  1. Inventário das versões da biblioteca de tracing e do método de instrumentação por serviço, sinalizando versões com padrões de propagação incompatíveis
  2. Rastreamento de ponta a ponta de caminhos reais de requisições em produção, para localizar o salto exato em que o contexto se perde
  3. Avaliação separada dos saltos assíncronos e orientados a mensagens, já que neles a propagação de contexto exige tratamento explícito do carrier
  4. Revisão da configuração de amostragem de cada serviço, para que as decisões de head-based sampling não descartem silenciosamente os traces que importam
  5. Plano de correção da instrumentação priorizado pelos caminhos críticos para o negócio, e não pela facilidade da correção
  6. Avaliação de um caminho de migração para instrumentação OpenTelemetry, neutra em relação ao fornecedor, nos serviços que já precisariam ser retrabalhados

Resultado obtido

A completude dos traces de ponta a ponta no caminho principal de pagamentos passou de fragmentada a quase total, o que revelou um fator de latência em um serviço legado que nunca tinha aparecido em nenhum dashboard. O backlog de correções está ordenado pelo impacto no negócio, e não pela equipe que se ofereceu primeiro.

Tecnologias

DatadogOpenTelemetryKubernetesJavaPython

Pronto para um health check do Datadog?

Os engenheiros Datadog sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.