Retour à tous les cas d'usage

ConseilServices financiers / trading

Un seul endroit où regarder, avec des labels qui permettent vraiment de passer d'un signal à l'autre

Groupe de services financiers

Mission de conseil visant à regrouper des métriques, des logs et des traces dispersés dans une couche d'observabilité unique fondée sur Grafana, avec un étiquetage cohérent.

Présentation

Un groupe de services financiers avait ses métriques dans un outil, ses logs dans un autre et ses traces dans un troisième, sans aucun identifiant commun entre eux. AceMQ a conçu leur regroupement dans une stack pilotée par Grafana, où un ingénieur peut passer d'un pic de métrique aux logs et aux traces correspondants sans avoir à reconstituer le contexte.

Défi

Les trois types de signaux désignaient les mêmes choses sous des noms différents : les noms de services variaient par la casse et le suffixe, les environnements étaient étiquetés de manière incohérente, et les logs ne contenaient aucun identifiant de trace ou de requête commun. Corréler une alerte avec ses logs obligeait quelqu'un à traduire d'un schéma de nommage à l'autre, dans l'urgence. Des agents en double sur l'ensemble du parc faisaient en outre que le même hôte était scrapé plusieurs fois.

Environnement

Parc hybride composé de charges Kubernetes et de machines virtuelles historiques, avec plusieurs environnements réglementés imposant une séparation pour la résidence des données.

Approche

La conception a commencé par une taxonomie de labels plutôt que par l'outillage, car la corrélation est un problème de nommage avant d'être un problème de produit. Nous avons défini un ensemble de labels obligatoires appliqué uniformément aux métriques, aux logs et aux traces, spécifié la propagation du contexte de trace pour que les lignes de log portent l'identifiant de trace, puis conçu la topologie de collecte qui l'impose au niveau des agents.

Solution

  1. Définition d'une taxonomie de labels obligatoires pour le service, l'environnement, la région et l'équipe, appliquée de façon identique aux métriques, aux logs et aux traces
  2. Conception de la propagation du contexte de trace pour que les lignes de log portent les identifiants de trace et de span, ce qui permet de passer en un clic d'une métrique à un log puis à une trace
  3. Rationalisation de la topologie de collecte avec un seul agent par hôte, supprimant les scrapes en double et leur coût de stockage
  4. Respect des frontières de résidence des données au niveau de la collecte, pour que les régions réglementées n'envoient jamais de télémétrie hors de leurs frontières
  5. Définition de niveaux de rétention par type de signal : les données haute résolution sont conservées peu de temps, les données sous-échantillonnées longtemps
  6. Migration échelonnée service par service, avec des périodes de double émission pour qu'aucune équipe ne perde la visibilité en cours de transition

Résultat obtenu

Les ingénieurs passent désormais directement d'une alerte aux logs et à la trace corrélés dans Grafana, au lieu de traduire manuellement les identifiants. La suppression de la collecte en double a sensiblement réduit le volume de télémétrie, et la taxonomie commune tient bon à mesure que de nouveaux services sont intégrés.

Technologies

GrafanaPrometheusLokiTempoKubernetes

Besoin de conseils en architecture Grafana ?

Les ingénieurs Grafana seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.