Przegląd
Przedsiębiorstwo energetyczne korzysta z alertów Grafany do monitoringu operacyjnego w obiektach wytwórczych i dystrybucyjnych. AceMQ zapewnia ciągłe wsparcie obejmujące zachowanie reguł alertów, routing powiadomień i stabilność źródeł danych.
Wyzwanie
Po migracji ze starszego mechanizmu alertów do unified alerting przedsiębiorstwo miało reguły, które uruchamiały się niekonsekwentnie. Część alertów nigdy się nie rozwiązywała, bo bazowe serie przestały być raportowane, a reguła nie obsługiwała braku danych (no data). Inne migotały (flapping), bo interwał ewaluacji był krótszy niż interwał scrape'owania, więc reguła regularnie oceniała lukę w danych. Polityki powiadomień rozrosły się w drzewo, którego nikt w pełni nie rozumiał, a błędnie oznaczona ścieżka sprawiała, że cała klasa alertów po cichu trafiała donikąd.
Środowisko
Grafana we wdrożeniu hybrydowym monitorująca lokalną infrastrukturę powiązaną z systemami SCADA oraz usługi chmurowe, z alertami kierowanymi do narzędzi obsługi dyżurów.
Podejście
Wsparcie traktuje reguły alertów jak kod produkcyjny. Przeglądamy obsługę braku danych i błędów w każdej regule, dopasowujemy interwały ewaluacji do rytmu scrape'owania i recording rules oraz weryfikujemy, że każda ścieżka polityki powiadomień faktycznie dociera do człowieka. Zmiany reguł są testowane na danych historycznych przed wdrożeniem.
Rozwiązanie
- Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy znają zestaw alertów
- Audyt każdej reguły alertu pod kątem obsługi braku danych i błędów wykonania, dzięki któremu ciche awarie stają się widoczne
- Dopasowanie interwałów ewaluacji i parametrów for do rytmu scrape'owania i recording rules w celu wyeliminowania migotania wynikającego z luk
- Uproszczenie drzewa polityk powiadomień i weryfikacja każdej ścieżki od początku do końca za pomocą alertu testowego
- Zarządzanie regułami alertów i punktami kontaktowymi jako konfiguracją provisionowaną, dzięki czemu zmiany można przeglądać i wycofywać
- Cykliczny przegląd liczby alertów i wskaźników potwierdzeń w celu wycofania reguł, na które nikt nie reaguje
Efekt
Szum alertów wyraźnie spadł po naprawieniu migoczących reguł, a ścieżki, które wcześniej prowadziły donikąd, docierają teraz do dyżurnych. Inżynierowie znów ufają alertom, co widać po krótszym czasie potwierdzania.