Visão geral
Uma prestadora de serviços para seguradoras usa uma combinação de agentes do fornecedor e instrumentação OpenTelemetry. Os traces terminavam com frequência na fronteira entre os dois. A AceMQ oferece suporte contínuo para manter a propagação funcionando à medida que os serviços mudam.
Desafio
Serviços diferentes propagavam o contexto usando formatos de header diferentes, e os serviços de cada lado de uma fronteira estavam configurados para aceitar apenas um deles. Quando uma requisição passava de um serviço com o agente do fornecedor para um com OpenTelemetry, o contexto recebido era ignorado e um novo trace começava. Os saltos assíncronos pelo message broker perdiam totalmente o contexto, porque nada o injetava nos headers das mensagens. Cada novo serviço que entrava no ambiente reintroduzia o problema em um lugar diferente.
Ambiente
Ambiente híbrido com serviços Java e .NET, instrumentação mista com agentes do fornecedor e OpenTelemetry e integração orientada a mensagens entre as camadas.
Abordagem
O suporte cobre a instrumentação que pertence ao cliente, e não a plataforma de ingestão do fornecedor. Padronizamos um único formato de propagação aceito em todos os serviços, tornamos a injeção de contexto nos saltos de mensageria parte da biblioteca compartilhada, em vez de responsabilidade de cada equipe, e incluímos uma verificação sintética de trace de ponta a ponta que falha quando a propagação se quebra.
Solução
- Suporte 24/7 com metas de resposta a partir de 15 minutos, conforme o plano e engenheiros sêniores designados que conhecem a topologia de traces do ambiente
- Padronização de um único formato de propagação nos serviços com agente do fornecedor e com OpenTelemetry, com os dois aceitos durante a transição
- Injeção e extração de contexto no message broker transferidas para uma biblioteca compartilhada, para que os saltos assíncronos propaguem o contexto por padrão
- Transação sintética de ponta a ponta rodando continuamente e alertando quando um trace não cobre o caminho completo
- Conciliação da configuração de amostragem entre os serviços, para que as decisões upstream e downstream sejam coerentes
- Revisão de instrumentação incorporada ao checklist de novos serviços do cliente, para que cada inclusão já chegue correta
Resultado obtido
Hoje os traces cobrem todo o caminho da requisição, incluindo os saltos assíncronos, e a verificação sintética detecta regressões de propagação minutos depois de um deploy. Novos serviços entram no ambiente já instrumentados corretamente, em vez de serem corrigidos depois.