Retour à tous les cas d'usage

ConseilLogiciels / plateformes numériques

Une gouvernance de la cardinalité des métriques custom qui résiste au prochain déploiement

Plateforme de commerce numérique

Mission de conseil pour encadrer la cardinalité des métriques custom, l'ingestion de logs et le volume de traces, afin que les dépenses d'observabilité suivent la valeur plutôt que le hasard.

Présentation

La facture d'observabilité d'une plateforme de commerce augmentait plus vite que son trafic, principalement à cause de métriques custom que personne n'avait jamais passées en revue. AceMQ l'a aidée à comprendre d'où venait ce volume et à mettre en place des contrôles qui tiennent à mesure que de nouveaux services sont livrés.

Défi

La facturation des métriques custom dépend du nombre de combinaisons de tags distinctes, et plusieurs équipes avaient ajouté en tags des identifiants de déploiement, des noms de pods et des identifiants clients. Une seule métrique portant un tag de nom de pod, sur un déploiement à forte rotation, générait un nombre colossal de séries facturables qu'aucun dashboard n'interrogeait jamais. L'ingestion de logs souffrait du même problème sous une autre forme : les logs de niveau debug d'un framework bavard représentaient une large part du volume indexé et n'étaient jamais consultés.

Environnement

Datadog sur un environnement AWS multi-comptes avec des workloads Kubernetes, une fréquence de déploiement élevée et plusieurs équipes produit.

Approche

Nous n'exploitons pas la plateforme de l'éditeur ; nous aidons nos clients à maîtriser ce qu'ils lui envoient. La mission a quantifié le volume par origine, établi quelle télémétrie était réellement interrogée, puis mis en place des contrôles au niveau de l'émission et de la collecte, pour que les réductions ne s'annulent pas discrètement au déploiement suivant.

Solution

  1. Attribution du volume de métriques custom à des métriques et des clés de tags précises, classées selon leur contribution aux séries facturables
  2. Croisement avec l'usage des requêtes pour identifier les métriques et tags jamais interrogés, qu'on peut supprimer sans risque
  3. Définition d'une gouvernance des tags : les identifiants à valeurs non bornées vont dans les logs ou les traces, jamais dans les tags de métriques
  4. Filtrage des métriques et des tags au niveau de la collecte, pour que la règle s'applique quoi que les applications émettent
  5. Politique d'indexation des logs scindée, pour que les logs volumineux et à faible valeur soient conservés sans être indexés pour la recherche
  6. Stratégie d'échantillonnage des traces revue pour garder en pleine fidélité les traces en erreur et les traces lentes, tout en échantillonnant les requêtes réussies courantes

Résultat obtenu

Le volume de métriques custom facturables a baissé d'environ moitié sans aucune perte de couverture des dashboards ni des alertes, et le volume de logs indexés a reculé dans des proportions comparables. Comme le filtrage se fait au niveau de la collecte, une équipe qui ajoute un tag à forte cardinalité ne provoque plus de mauvaise surprise sur la facture.

Technologies

DatadogKubernetesTerraformOpenTelemetry

Besoin de conseils en architecture Datadog ?

Les ingénieurs Datadog seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.