Voltar para todos os casos de uso

CorreçãoSoftware / plataformas digitais

Quando o agente de monitoramento vira o problema de desempenho

Plataforma de comércio digital

Correção de latência na aplicação e de crescimento de memória cuja origem estava na configuração do agente de APM no ambiente de JVMs e containers do próprio cliente.

Visão geral

Uma plataforma de comércio viu a latência p99 subir e a memória dos containers crescer sem parar depois de um upgrade do agente. A AceMQ corrigiu a configuração do agente e sua interação com a JVM, ou seja, o lado do cliente na fronteira de responsabilidades, que o suporte do fornecedor não ajusta.

Desafio

A nomenclatura das transações estava caindo em um esquema por URL porque a instrumentação do framework não reconhecia um roteador customizado, então cada caminho distinto gerava uma transação separada. Isso causava problemas de agrupamento de métricas e um grande cache de nomes dentro do agente, que crescia com o tráfego. Além disso, o distributed tracing tinha sido ativado com amostragem total em um serviço de throughput altíssimo, acrescentando um overhead mensurável por requisição e uma pressão constante de alocação que aparecia como pausas mais longas de garbage collection.

Ambiente

Serviços Java no Kubernetes com um framework de roteamento customizado, alto throughput de requisições e containers com memória limitada.

Abordagem

Separamos o overhead atribuível ao agente do comportamento da aplicação com comparações controladas, com o agente ativado e desativado sob carga idêntica. Depois de quantificar o custo do agente, corrigimos a nomenclatura das transações para que o agente parasse de gerar nomes ilimitados e definimos a amostragem em um nível adequado ao throughput do serviço.

Solução

  1. Comparação controlada sob carga com o agente ativado e desativado, para quantificar o overhead real em vez de estimá-lo
  2. Correção da nomenclatura das transações por meio de chamadas explícitas à API, para que o roteador customizado gere nomes limitados e significativos
  3. Resolução dos problemas de agrupamento de métricas, eliminando o cache ilimitado de nomes dentro do agente que provocava o crescimento de memória
  4. Redução da amostragem do distributed tracing no serviço de maior throughput, mantendo-a integral nos caminhos de erro
  5. Realinhamento do heap da JVM e dos limites de memória dos containers para considerar o consumo real do agente, e não o dimensionamento anterior a ele
  6. Teste do caminho de upgrade de versão do agente em staging, sob carga semelhante à de produção, antes do rollout

Resultado obtido

O crescimento de memória parou e a latência p99 voltou ao nível anterior ao upgrade. Os dados de transações voltaram a ser úteis, porque passaram a ser agrupados por endpoint significativo, e não por cada URL distinta.

Tecnologias

New RelicJavaKubernetesLinux

Enfrentando um problema de produção com New Relic?

Os engenheiros New Relic sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.