Torna a tutti i casi d'uso

RemediationSoftware / Piattaforme digitali

Quando l'agent di monitoraggio diventa il problema di prestazioni

Piattaforma di commercio digitale

Remediation di latenza applicativa e crescita della memoria ricondotte alla configurazione dell'agent APM sul parco di JVM e container del cliente.

Panoramica

Una piattaforma di e-commerce aveva visto salire la latenza p99 e crescere costantemente la memoria dei container dopo un upgrade dell'agent. AceMQ ha corretto la configurazione dell'agent e la sua interazione con la JVM, cioè la parte del perimetro di competenza del cliente, che il supporto del vendor non ottimizza.

Sfida

Il naming delle transazioni ricadeva su uno schema per URL perché l'instrumentation del framework non riconosceva un router personalizzato, per cui ogni percorso distinto generava una transazione separata. Questo causava problemi di metric grouping e una grande cache dei nomi all'interno dell'agent che cresceva con il traffico. Separatamente, il distributed tracing era stato abilitato con campionamento completo su un servizio ad altissimo throughput, aggiungendo un overhead misurabile per ogni richiesta e una pressione costante sulle allocazioni che si traduceva in pause di garbage collection più lunghe.

Ambiente

Servizi Java su Kubernetes con un framework di routing personalizzato, elevato throughput di richieste e container con limiti di memoria.

Approccio

Abbiamo separato l'overhead attribuibile all'agent dal comportamento dell'applicazione eseguendo confronti controllati con l'agent abilitato e disabilitato a parità di carico. Una volta quantificato il costo dell'agent, abbiamo corretto il naming delle transazioni, così che l'agent smettesse di generare nomi senza limiti, e impostato il campionamento a un livello adeguato al throughput del servizio.

Soluzione

  1. Confronto sotto carico controllato con agent abilitato e disabilitato per quantificare l'overhead reale invece di stimarlo
  2. Naming delle transazioni corretto tramite chiamate API esplicite, così che il router personalizzato produca nomi significativi e in numero limitato
  3. Risolti i problemi di metric grouping, eliminando la cache dei nomi senza limiti all'interno dell'agent che causava la crescita della memoria
  4. Campionamento del distributed tracing ridotto sul servizio a più alto throughput, mantenendolo completo sui percorsi di errore
  5. Heap della JVM e limiti di memoria dei container riallineati per tenere conto del footprint reale dell'agent, invece del dimensionamento precedente all'agent
  6. Percorso di upgrade della versione dell'agent testato in staging con un carico simile a quello di produzione prima del rollout

Esito

La crescita della memoria si è arrestata e la latenza p99 è tornata ai livelli precedenti all'upgrade. I dati delle transazioni sono tornati utilizzabili perché vengono raggruppati per endpoint significativo anziché per ogni singolo URL.

Tecnologie

New RelicJavaKubernetesLinux

Avete un problema di produzione su New Relic?

Gli ingegneri New Relic senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.