Powrót do wszystkich studiów przypadków

Wsparcie techniczneEnergetyka / media

Alerty, które uruchamiają się wtedy, kiedy powinny, i milczą, kiedy nie powinny

Operator energetyczny

Stałe wsparcie dla unified alerting w Grafanie, routingu powiadomień i niezawodności źródeł danych w operacyjnym środowisku monitoringu.

Przegląd

Przedsiębiorstwo energetyczne korzysta z alertów Grafany do monitoringu operacyjnego w obiektach wytwórczych i dystrybucyjnych. AceMQ zapewnia ciągłe wsparcie obejmujące zachowanie reguł alertów, routing powiadomień i stabilność źródeł danych.

Wyzwanie

Po migracji ze starszego mechanizmu alertów do unified alerting przedsiębiorstwo miało reguły, które uruchamiały się niekonsekwentnie. Część alertów nigdy się nie rozwiązywała, bo bazowe serie przestały być raportowane, a reguła nie obsługiwała braku danych (no data). Inne migotały (flapping), bo interwał ewaluacji był krótszy niż interwał scrape'owania, więc reguła regularnie oceniała lukę w danych. Polityki powiadomień rozrosły się w drzewo, którego nikt w pełni nie rozumiał, a błędnie oznaczona ścieżka sprawiała, że cała klasa alertów po cichu trafiała donikąd.

Środowisko

Grafana we wdrożeniu hybrydowym monitorująca lokalną infrastrukturę powiązaną z systemami SCADA oraz usługi chmurowe, z alertami kierowanymi do narzędzi obsługi dyżurów.

Podejście

Wsparcie traktuje reguły alertów jak kod produkcyjny. Przeglądamy obsługę braku danych i błędów w każdej regule, dopasowujemy interwały ewaluacji do rytmu scrape'owania i recording rules oraz weryfikujemy, że każda ścieżka polityki powiadomień faktycznie dociera do człowieka. Zmiany reguł są testowane na danych historycznych przed wdrożeniem.

Rozwiązanie

  1. Wsparcie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, i przypisanymi starszymi inżynierami, którzy znają zestaw alertów
  2. Audyt każdej reguły alertu pod kątem obsługi braku danych i błędów wykonania, dzięki któremu ciche awarie stają się widoczne
  3. Dopasowanie interwałów ewaluacji i parametrów for do rytmu scrape'owania i recording rules w celu wyeliminowania migotania wynikającego z luk
  4. Uproszczenie drzewa polityk powiadomień i weryfikacja każdej ścieżki od początku do końca za pomocą alertu testowego
  5. Zarządzanie regułami alertów i punktami kontaktowymi jako konfiguracją provisionowaną, dzięki czemu zmiany można przeglądać i wycofywać
  6. Cykliczny przegląd liczby alertów i wskaźników potwierdzeń w celu wycofania reguł, na które nikt nie reaguje

Efekt

Szum alertów wyraźnie spadł po naprawieniu migoczących reguł, a ścieżki, które wcześniej prowadziły donikąd, docierają teraz do dyżurnych. Inżynierowie znów ufają alertom, co widać po krótszym czasie potwierdzania.

Technologie

GrafanaPrometheusAlertmanagerLinux

Potrzebują Państwo eksperckiego wsparcia Grafana?

Starsi inżynierowie Grafana w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.