Retour à tous les cas d'usage

AuditIndustrie / production

Comprendre pourquoi la vue globale contredit chaque vue de site

Fabricant d'équipements d'automatisation industrielle

Audit d'une topologie de fédération Prometheus qui avait dépassé ses limites, provoquant des trous et des doublons de données entre les sites.

Présentation

Un industriel qui exploitait Prometheus dans chaque usine, avec une couche de fédération globale, constatait que les dashboards globaux ne concordaient pas avec ceux des sites. AceMQ a audité la topologie pour déterminer si la fédération était le bon modèle à son échelle.

Défi

La fédération hiérarchique servait à rapatrier des séries brutes plutôt que des agrégats : l'instance globale récupérait donc, à chaque intervalle, un volume énorme depuis chaque site. Les scrapes dépassaient régulièrement le timeout et renvoyaient des données partielles, d'où le désaccord entre vues globale et locales. Les sites aux liaisons WAN intermittentes produisaient des trous qui ressemblaient à des arrêts d'usine. Personne ne savait à quels chiffres se fier lors d'un véritable incident de production.

Environnement

Prometheus sur plusieurs sites de production, reliés par des liaisons WAN intermittentes à un environnement d'observabilité central.

Approche

L'audit a mesuré ce que la fédération transférait réellement au regard du budget de timeout des scrapes, ce qui a mis en évidence le problème des scrapes partiels. Nous avons ensuite évalué si les besoins du client seraient mieux servis par du remote write vers un stockage central que par la fédération, et modélisé l'impact de chaque option sur la bande passante et le stockage à partir du nombre réel de séries.

Solution

  1. Mesure de la taille et de la durée des payloads de fédération pour chaque site, comparées au timeout de scrape configuré
  2. Corrélation des scrapes partiels et des trous avec les événements des liaisons WAN, pour distinguer les problèmes réseau des problèmes de configuration
  3. Conception de recording rules sur chaque site pour que seuls des agrégats quittent l'usine, réduisant le payload de fédération de plusieurs ordres de grandeur
  4. Évaluation, comme alternative, du remote write vers un stockage central long terme, avec une modélisation de la bande passante et du stockage sur le nombre réel de séries
  5. Spécification du comportement de mise en tampon et de réessai, pour qu'une coupure WAN se traduise par des données rattrapées et non par un trou définitif
  6. Définition d'une rétention par site, pour que les ingénieurs locaux conservent la pleine résolution même lorsque seuls les agrégats remontent au niveau central

Résultat obtenu

Le client est passé à des recording rules au niveau des sites associées au remote write, ce qui a totalement éliminé les trous dus aux scrapes partiels. Les dashboards globaux et ceux des sites concordent désormais, et les coupures WAN sont rattrapées au lieu de laisser des trous définitifs dans l'historique.

Technologies

PrometheusGrafanaKubernetesLinux

Prêt pour un bilan de santé Prometheus ?

Les ingénieurs Prometheus seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.