Présentation
Un groupe de services financiers avait ses métriques dans un outil, ses logs dans un autre et ses traces dans un troisième, sans aucun identifiant commun entre eux. AceMQ a conçu leur regroupement dans une stack pilotée par Grafana, où un ingénieur peut passer d'un pic de métrique aux logs et aux traces correspondants sans avoir à reconstituer le contexte.
Défi
Les trois types de signaux désignaient les mêmes choses sous des noms différents : les noms de services variaient par la casse et le suffixe, les environnements étaient étiquetés de manière incohérente, et les logs ne contenaient aucun identifiant de trace ou de requête commun. Corréler une alerte avec ses logs obligeait quelqu'un à traduire d'un schéma de nommage à l'autre, dans l'urgence. Des agents en double sur l'ensemble du parc faisaient en outre que le même hôte était scrapé plusieurs fois.
Environnement
Parc hybride composé de charges Kubernetes et de machines virtuelles historiques, avec plusieurs environnements réglementés imposant une séparation pour la résidence des données.
Approche
La conception a commencé par une taxonomie de labels plutôt que par l'outillage, car la corrélation est un problème de nommage avant d'être un problème de produit. Nous avons défini un ensemble de labels obligatoires appliqué uniformément aux métriques, aux logs et aux traces, spécifié la propagation du contexte de trace pour que les lignes de log portent l'identifiant de trace, puis conçu la topologie de collecte qui l'impose au niveau des agents.
Solution
- Définition d'une taxonomie de labels obligatoires pour le service, l'environnement, la région et l'équipe, appliquée de façon identique aux métriques, aux logs et aux traces
- Conception de la propagation du contexte de trace pour que les lignes de log portent les identifiants de trace et de span, ce qui permet de passer en un clic d'une métrique à un log puis à une trace
- Rationalisation de la topologie de collecte avec un seul agent par hôte, supprimant les scrapes en double et leur coût de stockage
- Respect des frontières de résidence des données au niveau de la collecte, pour que les régions réglementées n'envoient jamais de télémétrie hors de leurs frontières
- Définition de niveaux de rétention par type de signal : les données haute résolution sont conservées peu de temps, les données sous-échantillonnées longtemps
- Migration échelonnée service par service, avec des périodes de double émission pour qu'aucune équipe ne perde la visibilité en cours de transition
Résultat obtenu
Les ingénieurs passent désormais directement d'une alerte aux logs et à la trace corrélés dans Grafana, au lieu de traduire manuellement les identifiants. La suppression de la collecte en double a sensiblement réduit le volume de télémétrie, et la taxonomie commune tient bon à mesure que de nouveaux services sont intégrés.