Powrót do wszystkich studiów przypadków

Usuwanie problemówTelekomunikacja

Naprawa stosu monitoringu, który zawodzi w najgorszym możliwym momencie

Operator telekomunikacyjny

Naprawa wdrożenia Grafana, które w trakcie incydentów stawało się bezużyteczne, a dashboardy przekraczały limit czasu właśnie wtedy, gdy inżynierowie najbardziej ich potrzebowali.

Przegląd

Instancja Grafana operatora telekomunikacyjnego podczas poważnych incydentów zwalniała do granic użyteczności, a to właśnie wtedy zespół operacji sieciowych najbardziej na niej polegał. AceMQ usunęło przyczynę tego trybu awarii, zamiast dokładać kolejne repliki.

Wyzwanie

Problem był wywoływany przez samych użytkowników: w trakcie incydentu dziesiątki inżynierów otwierały ten sam zestaw ciężkich dashboardów, z których każdy wysyłał do źródła danych wiele równoczesnych zapytań zakresowych. Backend nie nadążał, panele przekraczały limit czasu, inżynierowie odświeżali strony, a lawina ponowień pogarszała sytuację. Do tego dochodziła rywalizacja wywoływana przez zapisy sesji i adnotacji Grafana do jej własnej bazy danych. Żaden element nie był uszkodzony sam w sobie – system zawodził tylko wtedy, gdy był potrzebny.

Środowisko

Grafana na Kubernetes z relacyjną bazą danych, odpytująca Prometheus i długoterminowy magazyn metryk w kilku regionach.

Podejście

Odtworzyliśmy awarię, przeprowadzając testy obciążeniowe wzorca dostępu z czasu incydentu zamiast wzorca stanu ustalonego. Dzięki temu konkretne kosztowne panele stały się oczywiste. Następnie zmniejszyliśmy koszt zapytań na dashboard, dodaliśmy cache przed źródłem danych i oddzieliliśmy obciążenie bazy danych Grafana od ścieżki zapytań, tak aby interfejs pozostawał responsywny nawet przy wolnych źródłach danych.

Rozwiązanie

  1. Test obciążeniowy zbudowany wokół rzeczywistego wzorca dostępu z czasu incydentu – wielu równoczesnych widzów tych samych dashboardów – a nie średniego ruchu
  2. Wskazanie kosztownych paneli i przepisanie ich z wykorzystaniem reguł nagrywających, aby ciężka agregacja odbywała się raz przy pobieraniu danych, a nie dla każdego widza
  3. Dodanie cache wyników zapytań przed źródłem danych z TTL dostrojonym do interwału odświeżania każdego panelu
  4. Zmiana interwałów odświeżania dashboardów i domyślnych zakresów czasu, tak aby otwarta, nieużywana karta przestała generować ciągłe obciążenie
  5. Dostrojenie bazy danych Grafana i poprawa pul połączeń w celu wyeliminowania rywalizacji wywoływanej przez zapisy adnotacji i sesji
  6. Ustawienie limitów czasu zapytań na poziomie paneli, aby wolne źródło danych pogarszało działanie jednego panelu, zamiast zawieszać cały dashboard

Efekt

Czas ładowania dashboardów w trakcie incydentów spadł z dziesiątek sekund do niemal natychmiastowego, a lawiny ponowień już nie występują. Zespół operacji sieciowych korzysta teraz z Grafany podczas poważnych incydentów, zamiast wracać do doraźnych zapytań.

Technologie

GrafanaPrometheusKubernetesPostgreSQL

Problem produkcyjny z Grafana?

Starsi inżynierowie Grafana w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.