Retour à tous les cas d'usage

RemédiationLogiciels / plateformes numériques

Quand l'agent de supervision devient le problème de performance

Plateforme de commerce en ligne

Remédiation d'une hausse de la latence applicative et d'une croissance de la mémoire, dont l'origine a été localisée dans la configuration de l'agent APM sur le parc JVM et conteneurs du client.

Présentation

Après une mise à niveau de l'agent, une plateforme de commerce a vu sa latence p99 grimper et la mémoire de ses conteneurs augmenter régulièrement. AceMQ a corrigé la configuration de l'agent et son interaction avec la JVM, c'est-à-dire la partie du périmètre qui relève du client et que le support de l'éditeur ne règle pas.

Défi

Le nommage des transactions retombait sur un schéma par URL, car l'instrumentation du framework ne reconnaissait pas un routeur personnalisé : chaque chemin distinct produisait une transaction séparée. Il en résultait des problèmes de regroupement des métriques et un cache de noms interne à l'agent, volumineux, qui grossissait avec le trafic. Par ailleurs, le distributed tracing avait été activé avec un échantillonnage complet sur un service à très haut débit, ce qui ajoutait une surcharge mesurable à chaque requête et une pression d'allocation constante, visible sous la forme de pauses de garbage collection plus longues.

Environnement

Services Java sur Kubernetes avec un framework de routage personnalisé, un débit de requêtes élevé et des conteneurs à mémoire limitée.

Approche

Nous avons distingué la surcharge imputable à l'agent du comportement de l'application en menant des comparaisons contrôlées, agent activé puis désactivé, sous une charge identique. Une fois le coût de l'agent chiffré, nous avons corrigé le nommage des transactions pour que l'agent cesse de générer des noms en nombre illimité, et fixé l'échantillonnage à un niveau adapté au débit du service.

Solution

  1. Comparaison sous charge contrôlée, agent activé et désactivé, pour chiffrer la surcharge réelle au lieu de l'estimer
  2. Correction du nommage des transactions par des appels d'API explicites, pour que le routeur personnalisé produise des noms pertinents et en nombre limité
  3. Résolution des problèmes de regroupement des métriques, éliminant le cache de noms illimité de l'agent qui faisait croître la mémoire
  4. Réduction de l'échantillonnage du distributed tracing sur le service au débit le plus élevé, tout en le conservant intégralement sur les chemins d'erreur
  5. Réalignement du heap JVM et des limites mémoire des conteneurs sur l'empreinte réelle de l'agent, au lieu d'un dimensionnement antérieur à l'agent
  6. Test du chemin de mise à niveau de l'agent en préproduction, sous une charge proche de la production, avant le déploiement

Résultat obtenu

La croissance de la mémoire s'est arrêtée et la latence p99 est revenue à son niveau d'avant la mise à niveau. Les données de transactions sont redevenues exploitables, car elles sont regroupées par endpoint pertinent et non plus par URL distincte.

Technologies

New RelicJavaKubernetesLinux

Confronté à un incident de production New Relic ?

Les ingénieurs New Relic seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.