Panoramica
Una piattaforma di e-commerce aveva visto salire la latenza p99 e crescere costantemente la memoria dei container dopo un upgrade dell'agent. AceMQ ha corretto la configurazione dell'agent e la sua interazione con la JVM, cioè la parte del perimetro di competenza del cliente, che il supporto del vendor non ottimizza.
Sfida
Il naming delle transazioni ricadeva su uno schema per URL perché l'instrumentation del framework non riconosceva un router personalizzato, per cui ogni percorso distinto generava una transazione separata. Questo causava problemi di metric grouping e una grande cache dei nomi all'interno dell'agent che cresceva con il traffico. Separatamente, il distributed tracing era stato abilitato con campionamento completo su un servizio ad altissimo throughput, aggiungendo un overhead misurabile per ogni richiesta e una pressione costante sulle allocazioni che si traduceva in pause di garbage collection più lunghe.
Ambiente
Servizi Java su Kubernetes con un framework di routing personalizzato, elevato throughput di richieste e container con limiti di memoria.
Approccio
Abbiamo separato l'overhead attribuibile all'agent dal comportamento dell'applicazione eseguendo confronti controllati con l'agent abilitato e disabilitato a parità di carico. Una volta quantificato il costo dell'agent, abbiamo corretto il naming delle transazioni, così che l'agent smettesse di generare nomi senza limiti, e impostato il campionamento a un livello adeguato al throughput del servizio.
Soluzione
- Confronto sotto carico controllato con agent abilitato e disabilitato per quantificare l'overhead reale invece di stimarlo
- Naming delle transazioni corretto tramite chiamate API esplicite, così che il router personalizzato produca nomi significativi e in numero limitato
- Risolti i problemi di metric grouping, eliminando la cache dei nomi senza limiti all'interno dell'agent che causava la crescita della memoria
- Campionamento del distributed tracing ridotto sul servizio a più alto throughput, mantenendolo completo sui percorsi di errore
- Heap della JVM e limiti di memoria dei container riallineati per tenere conto del footprint reale dell'agent, invece del dimensionamento precedente all'agent
- Percorso di upgrade della versione dell'agent testato in staging con un carico simile a quello di produzione prima del rollout
Esito
La crescita della memoria si è arrestata e la latenza p99 è tornata ai livelli precedenti all'upgrade. I dati delle transazioni sono tornati utilizzabili perché vengono raggruppati per endpoint significativo anziché per ogni singolo URL.