Présentation
Après une mise à niveau de l'agent, une plateforme de commerce a vu sa latence p99 grimper et la mémoire de ses conteneurs augmenter régulièrement. AceMQ a corrigé la configuration de l'agent et son interaction avec la JVM, c'est-à-dire la partie du périmètre qui relève du client et que le support de l'éditeur ne règle pas.
Défi
Le nommage des transactions retombait sur un schéma par URL, car l'instrumentation du framework ne reconnaissait pas un routeur personnalisé : chaque chemin distinct produisait une transaction séparée. Il en résultait des problèmes de regroupement des métriques et un cache de noms interne à l'agent, volumineux, qui grossissait avec le trafic. Par ailleurs, le distributed tracing avait été activé avec un échantillonnage complet sur un service à très haut débit, ce qui ajoutait une surcharge mesurable à chaque requête et une pression d'allocation constante, visible sous la forme de pauses de garbage collection plus longues.
Environnement
Services Java sur Kubernetes avec un framework de routage personnalisé, un débit de requêtes élevé et des conteneurs à mémoire limitée.
Approche
Nous avons distingué la surcharge imputable à l'agent du comportement de l'application en menant des comparaisons contrôlées, agent activé puis désactivé, sous une charge identique. Une fois le coût de l'agent chiffré, nous avons corrigé le nommage des transactions pour que l'agent cesse de générer des noms en nombre illimité, et fixé l'échantillonnage à un niveau adapté au débit du service.
Solution
- Comparaison sous charge contrôlée, agent activé et désactivé, pour chiffrer la surcharge réelle au lieu de l'estimer
- Correction du nommage des transactions par des appels d'API explicites, pour que le routeur personnalisé produise des noms pertinents et en nombre limité
- Résolution des problèmes de regroupement des métriques, éliminant le cache de noms illimité de l'agent qui faisait croître la mémoire
- Réduction de l'échantillonnage du distributed tracing sur le service au débit le plus élevé, tout en le conservant intégralement sur les chemins d'erreur
- Réalignement du heap JVM et des limites mémoire des conteneurs sur l'empreinte réelle de l'agent, au lieu d'un dimensionnement antérieur à l'agent
- Test du chemin de mise à niveau de l'agent en préproduction, sous une charge proche de la production, avant le déploiement
Résultat obtenu
La croissance de la mémoire s'est arrêtée et la latence p99 est revenue à son niveau d'avant la mise à niveau. Les données de transactions sont redevenues exploitables, car elles sont regroupées par endpoint pertinent et non plus par URL distincte.