Présentation
La facture d'observabilité d'une plateforme de commerce augmentait plus vite que son trafic, principalement à cause de métriques custom que personne n'avait jamais passées en revue. AceMQ l'a aidée à comprendre d'où venait ce volume et à mettre en place des contrôles qui tiennent à mesure que de nouveaux services sont livrés.
Défi
La facturation des métriques custom dépend du nombre de combinaisons de tags distinctes, et plusieurs équipes avaient ajouté en tags des identifiants de déploiement, des noms de pods et des identifiants clients. Une seule métrique portant un tag de nom de pod, sur un déploiement à forte rotation, générait un nombre colossal de séries facturables qu'aucun dashboard n'interrogeait jamais. L'ingestion de logs souffrait du même problème sous une autre forme : les logs de niveau debug d'un framework bavard représentaient une large part du volume indexé et n'étaient jamais consultés.
Environnement
Datadog sur un environnement AWS multi-comptes avec des workloads Kubernetes, une fréquence de déploiement élevée et plusieurs équipes produit.
Approche
Nous n'exploitons pas la plateforme de l'éditeur ; nous aidons nos clients à maîtriser ce qu'ils lui envoient. La mission a quantifié le volume par origine, établi quelle télémétrie était réellement interrogée, puis mis en place des contrôles au niveau de l'émission et de la collecte, pour que les réductions ne s'annulent pas discrètement au déploiement suivant.
Solution
- Attribution du volume de métriques custom à des métriques et des clés de tags précises, classées selon leur contribution aux séries facturables
- Croisement avec l'usage des requêtes pour identifier les métriques et tags jamais interrogés, qu'on peut supprimer sans risque
- Définition d'une gouvernance des tags : les identifiants à valeurs non bornées vont dans les logs ou les traces, jamais dans les tags de métriques
- Filtrage des métriques et des tags au niveau de la collecte, pour que la règle s'applique quoi que les applications émettent
- Politique d'indexation des logs scindée, pour que les logs volumineux et à faible valeur soient conservés sans être indexés pour la recherche
- Stratégie d'échantillonnage des traces revue pour garder en pleine fidélité les traces en erreur et les traces lentes, tout en échantillonnant les requêtes réussies courantes
Résultat obtenu
Le volume de métriques custom facturables a baissé d'environ moitié sans aucune perte de couverture des dashboards ni des alertes, et le volume de logs indexés a reculé dans des proportions comparables. Comme le filtrage se fait au niveau de la collecte, une équipe qui ajoute un tag à forte cardinalité ne provoque plus de mauvaise surprise sur la facture.