Überblick
Ein Logistikdienstleister hatte über Dutzende Teams hinweg Tausende Grafana-Dashboards angesammelt – ohne jedes Ownership-Modell. AceMQ hat den Bestand bewertet, um festzustellen, was wirklich genutzt wird, was defekt ist und was standardisiert werden sollte.
Herausforderung
Dashboards waren immer wieder geklont worden, sodass es für denselben Service mehrere leicht abweichende Ansichten und keine eindeutige Single Source of Truth gab. Ein großer Teil der Panels verwies auf Metriken, die nach Neuentwicklungen von Services nicht mehr existierten. Engineers sahen deshalb regelmäßig leere Graphen und hielten den Service für untätig statt das Panel für defekt. Welche Dashboards wichtig waren, ließ sich nicht sagen, weil die Nutzung nie erfasst worden war.
Umgebung
Grafana auf AWS für mehrere Geschäftsbereiche; Dashboards ad hoc über die UI erstellt, ohne Versionskontrolle.
Vorgehen
Wir haben das vollständige Dashboard-Inventar über die API ausgelesen, jede Panel-Abfrage mit den tatsächlich in der Datenquelle vorhandenen Metriken abgeglichen und Aufrufstatistiken ergänzt, um nach realer Nutzung zu ranken. Daraus entstanden drei Listen – behalten, reparieren, stilllegen – sowie ein Template-Design, damit künftige Dashboards zusammenlaufen statt auseinanderzudriften.
Lösung
- Vollständiges Inventar aller Dashboards und Panels über die Grafana-API, einschließlich Ordner- und Berechtigungsstruktur
- Validierung jeder Panel-Abfrage gegen die Live-Metadaten der Datenquelle, um Panels zu markieren, die auf nicht mehr existierende Metriken verweisen
- Auswertung der Aufrufstatistiken, um Dashboards nach tatsächlicher Nutzung zu ranken – statt danach, wer am lautesten ruft
- Duplikatanalyse zur Identifizierung von Klon-Familien, die in einem parametrisierten Dashboard aufgehen sollten
- Wiederverwendbare Dashboard-Templates mit Variablen, die die gängigen Service-Muster aller Teams abdecken
- Empfehlung eines Provisioning-as-Code-Modells, damit Dashboards mit namentlich benannten Verantwortlichen in der Versionskontrolle liegen
Resultat
Der Bestand schrumpfte auf einen kleinen Bruchteil der ursprünglichen Zahl an Dashboards; die verbleibenden haben Verantwortliche und stehen unter Versionskontrolle. Engineers deuten defekte Panels nicht mehr als gesunde Services – zuvor ein wiederkehrender Grund dafür, dass Incidents verspätet erkannt wurden.