Retour à tous les cas d'usage

SupportÉnergie / services publics

Des alertes qui se déclenchent quand il le faut, et se taisent quand il ne le faut pas

Opérateur de services énergétiques

Support continu de l'alerting unifié de Grafana, du routage des notifications et de la fiabilité des sources de données sur un parc de supervision opérationnelle.

Présentation

Un énergéticien s'appuie sur l'alerting Grafana pour la supervision opérationnelle de ses sites de production et de distribution. AceMQ assure un support continu couvrant le comportement des règles d'alerte, le routage des notifications et la stabilité des sources de données.

Défi

Après la migration de l'ancien alerting vers l'alerting unifié, certaines règles se déclenchaient de façon incohérente. Certaines alertes ne se résolvaient jamais, parce que la série sous-jacente n'était plus remontée et que la règle ne gérait pas l'absence de données. D'autres oscillaient, car l'intervalle d'évaluation était plus court que l'intervalle de scrape : la règle s'évaluait régulièrement sur un trou. Les politiques de notification avaient pris la forme d'un arbre que plus personne ne comprenait entièrement, et une route mal étiquetée faisait qu'une catégorie entière d'alertes partait silencieusement dans le vide.

Environnement

Grafana en déploiement hybride, supervisant une infrastructure on-premise adjacente au SCADA et des services cloud, avec des alertes envoyées vers les outils de rotation d'astreinte.

Approche

Le support traite les règles d'alerte comme du code de production. Nous vérifions la gestion de l'absence de données et des erreurs sur chaque règle, alignons les intervalles d'évaluation sur la cadence des scrapes et des recording rules sous-jacents, et contrôlons que chaque chemin des politiques de notification aboutit réellement à un humain. Les modifications de règles sont testées sur des données historiques avant leur mise en production.

Solution

  1. Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés qui connaissent le parc d'alertes
  2. Audit de chaque règle d'alerte sur la gestion de l'absence de données et des erreurs d'exécution, pour rendre visibles les défaillances silencieuses
  3. Intervalles d'évaluation et durées for alignés sur la cadence des scrapes et des recording rules, pour éliminer les oscillations dues aux trous de données
  4. Simplification de l'arbre des politiques de notification et vérification de bout en bout de chaque route avec une alerte de test
  5. Règles d'alerte et contact points gérés en configuration provisionnée, pour que les modifications soient relisibles et réversibles
  6. Revue régulière du volume d'alertes et des taux d'acquittement, pour retirer les règles que personne ne traite

Résultat obtenu

Le bruit des alertes a nettement diminué une fois les règles instables corrigées, et les routes qui menaient nulle part atteignent désormais l'astreinte. Les ingénieurs font de nouveau confiance aux alertes, ce qui se traduit par des délais d'acquittement plus courts.

Technologies

GrafanaPrometheusAlertmanagerLinux

Besoin d'un support Grafana expert ?

Les ingénieurs Grafana seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.