Visão geral
Uma plataforma de comércio viu a latência p99 subir e a memória dos containers crescer sem parar depois de um upgrade do agente. A AceMQ corrigiu a configuração do agente e sua interação com a JVM, ou seja, o lado do cliente na fronteira de responsabilidades, que o suporte do fornecedor não ajusta.
Desafio
A nomenclatura das transações estava caindo em um esquema por URL porque a instrumentação do framework não reconhecia um roteador customizado, então cada caminho distinto gerava uma transação separada. Isso causava problemas de agrupamento de métricas e um grande cache de nomes dentro do agente, que crescia com o tráfego. Além disso, o distributed tracing tinha sido ativado com amostragem total em um serviço de throughput altíssimo, acrescentando um overhead mensurável por requisição e uma pressão constante de alocação que aparecia como pausas mais longas de garbage collection.
Ambiente
Serviços Java no Kubernetes com um framework de roteamento customizado, alto throughput de requisições e containers com memória limitada.
Abordagem
Separamos o overhead atribuível ao agente do comportamento da aplicação com comparações controladas, com o agente ativado e desativado sob carga idêntica. Depois de quantificar o custo do agente, corrigimos a nomenclatura das transações para que o agente parasse de gerar nomes ilimitados e definimos a amostragem em um nível adequado ao throughput do serviço.
Solução
- Comparação controlada sob carga com o agente ativado e desativado, para quantificar o overhead real em vez de estimá-lo
- Correção da nomenclatura das transações por meio de chamadas explícitas à API, para que o roteador customizado gere nomes limitados e significativos
- Resolução dos problemas de agrupamento de métricas, eliminando o cache ilimitado de nomes dentro do agente que provocava o crescimento de memória
- Redução da amostragem do distributed tracing no serviço de maior throughput, mantendo-a integral nos caminhos de erro
- Realinhamento do heap da JVM e dos limites de memória dos containers para considerar o consumo real do agente, e não o dimensionamento anterior a ele
- Teste do caminho de upgrade de versão do agente em staging, sob carga semelhante à de produção, antes do rollout
Resultado obtido
O crescimento de memória parou e a latência p99 voltou ao nível anterior ao upgrade. Os dados de transações voltaram a ser úteis, porque passaram a ser agrupados por endpoint significativo, e não por cada URL distinta.