Przegląd
Dostawca usług logistycznych zgromadził tysiące dashboardów Grafana w dziesiątkach zespołów, bez żadnego modelu własności. AceMQ ocenił ten zasób, aby ustalić, co jest faktycznie używane, co nie działa i co należy ustandaryzować.
Wyzwanie
Dashboardy wielokrotnie klonowano, więc ta sama usługa miała kilka nieco różniących się widoków i żadnego jasnego źródła prawdy. Duża część paneli odwoływała się do metryk, które po przepisaniu usług przestały istnieć, przez co inżynierowie regularnie patrzyli na puste wykresy i zakładali, że usługa jest bezczynna, a nie że panel jest uszkodzony. Nie dało się stwierdzić, które dashboardy są ważne, bo nigdy nie śledzono ich użycia.
Środowisko
Grafana na AWS obsługująca wiele jednostek biznesowych, dashboardy tworzone doraźnie przez interfejs, bez kontroli wersji.
Podejście
Pobraliśmy przez API pełny inwentarz dashboardów, porównaliśmy zapytanie każdego panelu z metrykami faktycznie obecnymi w źródle danych i uzupełniliśmy to statystykami wyświetleń, aby uszeregować dashboardy według rzeczywistego użycia. W efekcie powstały trzy listy – zachować, naprawić i wycofać – oraz projekt szablonów, dzięki którym przyszłe dashboardy będą się ujednolicać, zamiast rozjeżdżać.
Rozwiązanie
- Pełny inwentarz dashboardów i paneli pobrany przez API Grafana, łącznie ze strukturą folderów i uprawnień
- Walidacja zapytania każdego panelu względem bieżących metadanych źródła danych w celu oznaczenia paneli odwołujących się do nieistniejących już metryk
- Analiza statystyk wyświetleń w celu uszeregowania dashboardów według rzeczywistego użycia, a nie według tego, kto najgłośniej się upomina
- Analiza duplikatów wskazująca rodziny klonów, które powinny zostać połączone w jeden sparametryzowany dashboard
- Szablony dashboardów wielokrotnego użytku ze zmiennymi, zaprojektowane tak, by obejmowały typowe wzorce usług we wszystkich zespołach
- Rekomendacja modelu provisioning-as-code, w którym dashboardy znajdują się w kontroli wersji i mają wskazanych właścicieli
Efekt
Zasób skurczył się do niewielkiego ułamka pierwotnej liczby dashboardów, a te, które zostały, mają właścicieli i są objęte kontrolą wersji. Inżynierowie przestali błędnie odczytywać uszkodzone panele jako zdrowe usługi, co wcześniej było powracającą przyczyną opóźnionego wykrywania incydentów.