Überblick
Ein Energieversorger stützt das operative Monitoring seiner Erzeugungs- und Verteilstandorte auf Grafana Alerting. AceMQ leistet kontinuierlichen Support für das Verhalten der Alert Rules, das Notification Routing und die Stabilität der Datasources.
Herausforderung
Nach der Migration vom Legacy Alerting auf Unified Alerting lösten Regeln uneinheitlich aus. Manche Alerts wurden nie aufgelöst, weil die zugrunde liegende Serie nicht mehr gemeldet wurde und die Regel keine No-Data-Behandlung hatte. Andere flatterten, weil das Evaluation Interval kürzer war als das Scrape Interval und die Regel deshalb regelmäßig gegen eine Lücke ausgewertet wurde. Die Notification Policies waren zu einem Baum gewachsen, den niemand mehr vollständig verstand, und durch eine falsch gelabelte Route lief eine ganze Klasse von Alerts unbemerkt ins Leere.
Umgebung
Grafana in einem hybriden Deployment, das SCADA-nahe On-Premises-Infrastruktur und Cloud-Services überwacht und Alerts an die Tools der Rufbereitschaft weiterleitet.
Vorgehen
Im Support behandeln wir Alert Rules wie Produktionscode. Wir prüfen die No-Data- und Fehlerbehandlung jeder Regel, stimmen Evaluation Intervals auf den Takt der Scrapes und Recording Rules ab und validieren, dass jeder Pfad einer Notification Policy tatsächlich bei einem Menschen ankommt. Regeländerungen werden vor dem Go-live gegen historische Daten getestet.
Lösung
- 24/7-Support mit Reaktionszeitzielen ab 15 Minuten, je nach Plan, und namentlich zugeordneten Senior Engineers, die die Alert-Landschaft kennen
- Jede Alert Rule auf No-Data- und Execution-Error-Behandlung geprüft, damit stille Ausfälle sichtbar werden
- Evaluation Intervals und for-Dauern auf den Takt von Scrapes und Recording Rules abgestimmt, um lückenbedingtes Flattern zu beseitigen
- Baum der Notification Policies vereinfacht und jede Route mit einem Test-Alert End-to-End verifiziert
- Alert Rules und Contact Points als provisionierte Konfiguration verwaltet, sodass Änderungen prüfbar und reversibel sind
- Regelmäßige Auswertung von Alert-Volumen und Bestätigungsraten, um Regeln abzuschaffen, auf die niemand reagiert
Resultat
Nach der Korrektur der flatternden Regeln ging das Alert-Rauschen deutlich zurück, und die Routen, die ins Leere liefen, erreichen jetzt die Rufbereitschaft. Die Engineers vertrauen den Alerts wieder – das zeigt sich in kürzeren Bestätigungszeiten.