Présentation
Une plateforme de commerce a perdu toute visibilité sur ses métriques lorsque ses serveurs Prometheus ont commencé à être tués par l'OOM killer quelques minutes après leur démarrage. L'élément déclencheur était un déploiement applicatif de routine ; la cause, un unique nouveau label.
Défi
Une équipe avait ajouté un identifiant utilisateur comme label sur un compteur de requêtes. Chaque utilisateur distinct créait une nouvelle série temporelle, si bien que le nombre de séries actives augmentait sans limite pendant les heures de trafic. Prometheus consommait de la mémoire jusqu'à ce que le noyau le tue et, au redémarrage, devait rejouer un write-ahead log devenu énorme, ce qui prenait assez de temps pour que le processus soit de nouveau tué avant la fin. Le système de supervision était pris dans une boucle de crashs dont il ne pouvait pas sortir seul, et l'équipe n'avait plus aucune métrique tant qu'il était hors service.
Environnement
Prometheus sur Kubernetes collectant plusieurs centaines de cibles, alimentant des tableaux de bord Grafana et des routes Alertmanager.
Approche
La première priorité était de maintenir un processus Prometheus en vie, ce qui imposait de casser la boucle de replay du WAL avant de s'attaquer à la métrique elle-même. Nous avons démarré le serveur dans un état lui permettant de terminer le replay, identifié la série fautive par sa cardinalité, supprimé le label à l'étape de relabeling pour qu'il cesse d'être ingéré, puis mis en place des garde-fous pour que ce type d'erreur ne puisse pas se reproduire en silence.
Solution
- Sortie de la boucle de crashs en donnant au processus assez de marge pour terminer le replay du WAL, puis confirmation que le blocage venait de la mémoire et non d'une corruption
- Classement des séries par cardinalité via le statut de la TSDB pour identifier le label fautif en quelques minutes plutôt que par inspection manuelle
- Suppression du label non borné dans metric_relabel_configs pour qu'il cesse d'être ingéré, quoi que l'application émette
- Application de sample_limit et label_limit par configuration de scrape pour qu'une seule cible défaillante ne puisse plus faire tomber le serveur
- Ajout d'une alerte de cardinalité sur le taux de croissance des séries actives, qui se déclenche avant que la mémoire ne devienne critique
- Travail avec l'équipe applicative sur le bon pattern — l'identité des utilisateurs a sa place dans les logs et les traces, pas dans les labels de métriques
Résultat obtenu
Le nombre de séries actives est revenu à un niveau soutenable et la boucle de crashs OOM a pris fin le jour même. Depuis, les limites au niveau du scrape ont intercepté à l'ingestion deux autres erreurs de cardinalité, avant que l'une ou l'autre n'affecte le serveur.