Présentation
Un acteur du traitement des paiements pensait son parc entièrement instrumenté, jusqu'à ce qu'une panne sur un composant non couvert demande des heures à localiser. AceMQ a évalué la couverture réelle des services, des dépendances et des traitements en arrière-plan.
Défi
La couverture semblait complète, puisque chaque service déployé avait un agent. Ce que l'inventaire ne montrait pas, c'est que plusieurs chemins de code critiques restaient invisibles malgré tout : les workers en arrière-plan et les jobs planifiés ne produisaient aucune transaction, faute de marquage de leurs points d'entrée ; les couches d'accès aux données maison n'étaient pas reconnues par l'auto-instrumentation ; et les appels sortants passant par un wrapper de client HTTP interne apparaissaient comme des segments externes génériques, sans attribution de cible. La cartographie affichait une couverture complète ; la réalité comportait des trous précisément là où le débogage était le plus difficile.
Environnement
Parc hybride avec des services Java et Node.js, des traitements batch planifiés et des bibliothèques maison d'accès aux données et de client HTTP.
Approche
Plutôt que de compter les agents, l'audit compare la télémétrie que chaque service produit réellement à ce qu'il fait réellement. Nous rapprochons l'inventaire des déploiements des entités qui remontent des données, examinons pour chaque service les données de transactions et de segments afin d'y retrouver les formes attendues, et sondons spécifiquement les zones que l'auto-instrumentation est connue pour manquer.
Solution
- Rapprochement de l'inventaire des déploiements avec les entités qui remontent des données, pour trouver les services déployés qui ne remontent rien sans le signaler
- Examen des données de transactions et de segments de chaque service pour y retrouver les formes attendues, au lieu de considérer qu'un agent présent équivaut à une couverture
- Vérification spécifique des workers en arrière-plan, des jobs planifiés et des boucles de consommation, rarement instrumentés automatiquement
- Identification des wrappers maison d'accès aux données et de client HTTP comme angles morts de l'instrumentation, avec une remédiation explicitement définie
- Cartographie de la couverture des alertes et des dashboards face aux chemins critiques pour l'activité, pour trouver les composants supervisés sans aucune alerte
- Backlog de remédiation priorisé selon le rayon d'impact, avec une estimation de l'effort pour chaque élément
Résultat obtenu
Environ un cinquième des chemins de code critiques pour l'activité s'est révélé invisible pour l'APM, malgré la présence des agents. Grâce à l'instrumentation personnalisée ajoutée sur les lacunes les plus prioritaires, le type de panne qui demandait auparavant des heures à localiser est désormais visible dès les premières minutes.