Présentation
Un industriel qui exploitait Prometheus dans chaque usine, avec une couche de fédération globale, constatait que les dashboards globaux ne concordaient pas avec ceux des sites. AceMQ a audité la topologie pour déterminer si la fédération était le bon modèle à son échelle.
Défi
La fédération hiérarchique servait à rapatrier des séries brutes plutôt que des agrégats : l'instance globale récupérait donc, à chaque intervalle, un volume énorme depuis chaque site. Les scrapes dépassaient régulièrement le timeout et renvoyaient des données partielles, d'où le désaccord entre vues globale et locales. Les sites aux liaisons WAN intermittentes produisaient des trous qui ressemblaient à des arrêts d'usine. Personne ne savait à quels chiffres se fier lors d'un véritable incident de production.
Environnement
Prometheus sur plusieurs sites de production, reliés par des liaisons WAN intermittentes à un environnement d'observabilité central.
Approche
L'audit a mesuré ce que la fédération transférait réellement au regard du budget de timeout des scrapes, ce qui a mis en évidence le problème des scrapes partiels. Nous avons ensuite évalué si les besoins du client seraient mieux servis par du remote write vers un stockage central que par la fédération, et modélisé l'impact de chaque option sur la bande passante et le stockage à partir du nombre réel de séries.
Solution
- Mesure de la taille et de la durée des payloads de fédération pour chaque site, comparées au timeout de scrape configuré
- Corrélation des scrapes partiels et des trous avec les événements des liaisons WAN, pour distinguer les problèmes réseau des problèmes de configuration
- Conception de recording rules sur chaque site pour que seuls des agrégats quittent l'usine, réduisant le payload de fédération de plusieurs ordres de grandeur
- Évaluation, comme alternative, du remote write vers un stockage central long terme, avec une modélisation de la bande passante et du stockage sur le nombre réel de séries
- Spécification du comportement de mise en tampon et de réessai, pour qu'une coupure WAN se traduise par des données rattrapées et non par un trou définitif
- Définition d'une rétention par site, pour que les ingénieurs locaux conservent la pleine résolution même lorsque seuls les agrégats remontent au niveau central
Résultat obtenu
Le client est passé à des recording rules au niveau des sites associées au remote write, ce qui a totalement éliminé les trous dus aux scrapes partiels. Les dashboards globaux et ceux des sites concordent désormais, et les coupures WAN sont rattrapées au lieu de laisser des trous définitifs dans l'historique.