Powrót do wszystkich studiów przypadków

Ocena środowiskaWiele branż

Oddzielenie dashboardów, na których ludzie polegają, od tych, których nikt nie otwierał od roku

Globalny dostawca usług logistycznych

Ocena rozrośniętego zasobu dashboardów Grafana w celu wykrycia duplikatów, niedziałających paneli i niewielkiej grupy dashboardów, z których ktokolwiek naprawdę korzysta.

Przegląd

Dostawca usług logistycznych zgromadził tysiące dashboardów Grafana w dziesiątkach zespołów, bez żadnego modelu własności. AceMQ ocenił ten zasób, aby ustalić, co jest faktycznie używane, co nie działa i co należy ustandaryzować.

Wyzwanie

Dashboardy wielokrotnie klonowano, więc ta sama usługa miała kilka nieco różniących się widoków i żadnego jasnego źródła prawdy. Duża część paneli odwoływała się do metryk, które po przepisaniu usług przestały istnieć, przez co inżynierowie regularnie patrzyli na puste wykresy i zakładali, że usługa jest bezczynna, a nie że panel jest uszkodzony. Nie dało się stwierdzić, które dashboardy są ważne, bo nigdy nie śledzono ich użycia.

Środowisko

Grafana na AWS obsługująca wiele jednostek biznesowych, dashboardy tworzone doraźnie przez interfejs, bez kontroli wersji.

Podejście

Pobraliśmy przez API pełny inwentarz dashboardów, porównaliśmy zapytanie każdego panelu z metrykami faktycznie obecnymi w źródle danych i uzupełniliśmy to statystykami wyświetleń, aby uszeregować dashboardy według rzeczywistego użycia. W efekcie powstały trzy listy – zachować, naprawić i wycofać – oraz projekt szablonów, dzięki którym przyszłe dashboardy będą się ujednolicać, zamiast rozjeżdżać.

Rozwiązanie

  1. Pełny inwentarz dashboardów i paneli pobrany przez API Grafana, łącznie ze strukturą folderów i uprawnień
  2. Walidacja zapytania każdego panelu względem bieżących metadanych źródła danych w celu oznaczenia paneli odwołujących się do nieistniejących już metryk
  3. Analiza statystyk wyświetleń w celu uszeregowania dashboardów według rzeczywistego użycia, a nie według tego, kto najgłośniej się upomina
  4. Analiza duplikatów wskazująca rodziny klonów, które powinny zostać połączone w jeden sparametryzowany dashboard
  5. Szablony dashboardów wielokrotnego użytku ze zmiennymi, zaprojektowane tak, by obejmowały typowe wzorce usług we wszystkich zespołach
  6. Rekomendacja modelu provisioning-as-code, w którym dashboardy znajdują się w kontroli wersji i mają wskazanych właścicieli

Efekt

Zasób skurczył się do niewielkiego ułamka pierwotnej liczby dashboardów, a te, które zostały, mają właścicieli i są objęte kontrolą wersji. Inżynierowie przestali błędnie odczytywać uszkodzone panele jako zdrowe usługi, co wcześniej było powracającą przyczyną opóźnionego wykrywania incydentów.

Technologie

GrafanaPrometheusAmazon S3Terraform

Czas na przegląd Health Check Grafana?

Starsi inżynierowie Grafana w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.