Présentation
Un acteur du traitement des paiements avait activé l'APM à grande échelle, mais les traces s'arrêtaient régulièrement à la frontière entre services récents et services plus anciens. AceMQ a évalué la couverture d'instrumentation de l'ensemble du parc pour identifier précisément où la propagation du contexte se rompait.
Défi
Les services récents utilisaient l'auto-instrumentation, tandis que plusieurs services plus anciens avaient été instrumentés à la main des années auparavant, avec une version bien plus ancienne de la bibliothèque. Lorsqu'une requête passait de l'un à l'autre, les en-têtes de contexte de trace étaient perdus : une même transaction logique apparaissait alors sous forme de plusieurs traces sans lien entre elles. Les sauts asynchrones via les brokers de messages perdaient complètement le contexte. Résultat : la latence des parties du système qui comptaient le plus pour l'activité était invisible, alors que les services bien instrumentés semblaient parfaitement couverts.
Environnement
Parc hybride combinant des services Kubernetes et des applications historiques hébergées sur machines virtuelles, en Java et en Python, avec de la messagerie entre les couches.
Approche
L'audit inventorie, pour chaque service, la version de la bibliothèque de tracing et la méthode d'instrumentation, puis suit de bout en bout des chemins de requêtes réels en production pour trouver où le contexte se perd effectivement. Comme AceMQ n'exploite pas la plateforme de l'éditeur, tous les constats portent sur le code, les bibliothèques et la configuration de propagation du client, c'est-à-dire sur ce qu'il peut modifier.
Solution
- Inventaire, par service, de la version de la bibliothèque de tracing et de la méthode d'instrumentation, en signalant les versions dont les paramètres de propagation par défaut sont incompatibles
- Suivi de bout en bout de chemins de requêtes réels en production, pour localiser le saut exact où le contexte est perdu
- Évaluation à part des sauts asynchrones et pilotés par messages, où la propagation du contexte exige une gestion explicite du carrier
- Revue de la configuration d'échantillonnage par service, pour que les décisions d'échantillonnage en amont (head-based) n'écartent pas en silence les traces qui comptent
- Plan de remédiation de l'instrumentation priorisé selon les chemins critiques pour l'activité, et non selon la facilité de correction
- Évaluation d'une trajectoire de migration vers une instrumentation OpenTelemetry indépendante de l'éditeur pour les services qui devaient de toute façon être retravaillés
Résultat obtenu
La complétude des traces de bout en bout sur le chemin de paiement principal est passée de fragmentaire à quasi totale, ce qui a révélé, dans un service historique, une source de latence qui n'était jamais apparue dans aucun dashboard. Le backlog de remédiation est ordonné selon l'impact métier, et non selon l'équipe qui s'est portée volontaire.