Présentation
Un énergéticien s'appuie sur l'alerting Grafana pour la supervision opérationnelle de ses sites de production et de distribution. AceMQ assure un support continu couvrant le comportement des règles d'alerte, le routage des notifications et la stabilité des sources de données.
Défi
Après la migration de l'ancien alerting vers l'alerting unifié, certaines règles se déclenchaient de façon incohérente. Certaines alertes ne se résolvaient jamais, parce que la série sous-jacente n'était plus remontée et que la règle ne gérait pas l'absence de données. D'autres oscillaient, car l'intervalle d'évaluation était plus court que l'intervalle de scrape : la règle s'évaluait régulièrement sur un trou. Les politiques de notification avaient pris la forme d'un arbre que plus personne ne comprenait entièrement, et une route mal étiquetée faisait qu'une catégorie entière d'alertes partait silencieusement dans le vide.
Environnement
Grafana en déploiement hybride, supervisant une infrastructure on-premise adjacente au SCADA et des services cloud, avec des alertes envoyées vers les outils de rotation d'astreinte.
Approche
Le support traite les règles d'alerte comme du code de production. Nous vérifions la gestion de l'absence de données et des erreurs sur chaque règle, alignons les intervalles d'évaluation sur la cadence des scrapes et des recording rules sous-jacents, et contrôlons que chaque chemin des politiques de notification aboutit réellement à un humain. Les modifications de règles sont testées sur des données historiques avant leur mise en production.
Solution
- Support 24/7 avec des objectifs de réponse à partir de 15 minutes, selon le plan, et des ingénieurs seniors attitrés qui connaissent le parc d'alertes
- Audit de chaque règle d'alerte sur la gestion de l'absence de données et des erreurs d'exécution, pour rendre visibles les défaillances silencieuses
- Intervalles d'évaluation et durées for alignés sur la cadence des scrapes et des recording rules, pour éliminer les oscillations dues aux trous de données
- Simplification de l'arbre des politiques de notification et vérification de bout en bout de chaque route avec une alerte de test
- Règles d'alerte et contact points gérés en configuration provisionnée, pour que les modifications soient relisibles et réversibles
- Revue régulière du volume d'alertes et des taux d'acquittement, pour retirer les règles que personne ne traite
Résultat obtenu
Le bruit des alertes a nettement diminué une fois les règles instables corrigées, et les routes qui menaient nulle part atteignent désormais l'astreinte. Les ingénieurs font de nouveau confiance aux alertes, ce qui se traduit par des délais d'acquittement plus courts.