Przegląd
Instancja Grafana operatora telekomunikacyjnego podczas poważnych incydentów zwalniała do granic użyteczności, a to właśnie wtedy zespół operacji sieciowych najbardziej na niej polegał. AceMQ usunęło przyczynę tego trybu awarii, zamiast dokładać kolejne repliki.
Wyzwanie
Problem był wywoływany przez samych użytkowników: w trakcie incydentu dziesiątki inżynierów otwierały ten sam zestaw ciężkich dashboardów, z których każdy wysyłał do źródła danych wiele równoczesnych zapytań zakresowych. Backend nie nadążał, panele przekraczały limit czasu, inżynierowie odświeżali strony, a lawina ponowień pogarszała sytuację. Do tego dochodziła rywalizacja wywoływana przez zapisy sesji i adnotacji Grafana do jej własnej bazy danych. Żaden element nie był uszkodzony sam w sobie – system zawodził tylko wtedy, gdy był potrzebny.
Środowisko
Grafana na Kubernetes z relacyjną bazą danych, odpytująca Prometheus i długoterminowy magazyn metryk w kilku regionach.
Podejście
Odtworzyliśmy awarię, przeprowadzając testy obciążeniowe wzorca dostępu z czasu incydentu zamiast wzorca stanu ustalonego. Dzięki temu konkretne kosztowne panele stały się oczywiste. Następnie zmniejszyliśmy koszt zapytań na dashboard, dodaliśmy cache przed źródłem danych i oddzieliliśmy obciążenie bazy danych Grafana od ścieżki zapytań, tak aby interfejs pozostawał responsywny nawet przy wolnych źródłach danych.
Rozwiązanie
- Test obciążeniowy zbudowany wokół rzeczywistego wzorca dostępu z czasu incydentu – wielu równoczesnych widzów tych samych dashboardów – a nie średniego ruchu
- Wskazanie kosztownych paneli i przepisanie ich z wykorzystaniem reguł nagrywających, aby ciężka agregacja odbywała się raz przy pobieraniu danych, a nie dla każdego widza
- Dodanie cache wyników zapytań przed źródłem danych z TTL dostrojonym do interwału odświeżania każdego panelu
- Zmiana interwałów odświeżania dashboardów i domyślnych zakresów czasu, tak aby otwarta, nieużywana karta przestała generować ciągłe obciążenie
- Dostrojenie bazy danych Grafana i poprawa pul połączeń w celu wyeliminowania rywalizacji wywoływanej przez zapisy adnotacji i sesji
- Ustawienie limitów czasu zapytań na poziomie paneli, aby wolne źródło danych pogarszało działanie jednego panelu, zamiast zawieszać cały dashboard
Efekt
Czas ładowania dashboardów w trakcie incydentów spadł z dziesiątek sekund do niemal natychmiastowego, a lawiny ponowień już nie występują. Zespół operacji sieciowych korzysta teraz z Grafany podczas poważnych incydentów, zamiast wracać do doraźnych zapytań.