Überblick
Die Grafana-Instanz eines Telekommunikationsanbieters wurde bei größeren Incidents quälend langsam – genau dann, wenn das Network Operations Team darauf angewiesen war. AceMQ beseitigte das Fehlerbild, statt weitere Replicas hinzuzufügen.
Herausforderung
Das Muster war hausgemacht: Während eines Incidents öffneten Dutzende Engineers dieselben schweren Dashboards, und jedes feuerte viele parallele Range Queries auf die Datasource. Das Backend kam nicht hinterher, Panels liefen in Timeouts, die Engineers klickten auf Aktualisieren, und der Retry-Sturm verschlimmerte alles. Die Session- und Annotation-Schreibvorgänge von Grafana in die eigene Datenbank sorgten zusätzlich für Konkurrenz. Für sich genommen war nichts kaputt; das System versagte nur, wenn es gebraucht wurde.
Umgebung
Grafana auf Kubernetes mit einer relationalen Datenbank im Hintergrund, das Prometheus und einen Langzeit-Metrikspeicher über mehrere Regionen abfragt.
Vorgehen
Wir haben den Fehler reproduziert, indem wir das Zugriffsmuster während eines Incidents unter Last getestet haben statt den Normalbetrieb. Damit wurden die konkret teuren Panels sofort sichtbar. Anschließend haben wir die Query-Kosten pro Dashboard gesenkt, ein Caching vor die Datasource gesetzt und die Last auf der Grafana-Datenbank vom Query-Pfad getrennt, damit die UI auch dann reaktionsfähig bleibt, wenn Datasources langsam sind.
Lösung
- Lasttest auf Basis des realen Zugriffsmusters bei Incidents – viele gleichzeitige Betrachter derselben Dashboards – statt des durchschnittlichen Traffics
- Teure Panels identifiziert und mit Recording Rules neu geschrieben, damit die aufwendige Aggregation einmal beim Ingest erfolgt statt pro Betrachter
- Caching der Query-Ergebnisse vor der Datasource, mit TTLs, die auf das Refresh-Intervall des jeweiligen Panels abgestimmt sind
- Refresh-Intervalle und Standard-Zeitbereiche der Dashboards überarbeitet, damit ein offener, ungenutzter Tab keine Dauerlast mehr erzeugt
- Die Grafana-Datenbank getunt und das Connection Pooling korrigiert, um die Konkurrenz durch Annotation- und Session-Schreibvorgänge zu beseitigen
- Query-Timeouts pro Panel gesetzt, damit eine langsame Datasource nur ein Panel beeinträchtigt, statt das ganze Dashboard hängen zu lassen
Resultat
Die Ladezeiten der Dashboards während Incidents sanken von mehreren zehn Sekunden auf nahezu sofort, und das Muster der Retry-Stürme tritt nicht mehr auf. Das Network Operations Team nutzt Grafana jetzt auch bei größeren Incidents, statt auf Ad-hoc-Queries auszuweichen.