Powrót do wszystkich studiów przypadków

Usuwanie problemówOprogramowanie / platformy cyfrowe

Powstrzymanie eksplozji kardynalności, zanim na dobre wyłączy monitoring

Platforma handlu cyfrowego

Awaryjne przywrócenie działania serwerów Prometheus, które po wdrożeniu wprowadzającym nieograniczoną etykietę były raz po raz zabijane przez OOM killera.

Przegląd

Platforma e-commerce straciła wgląd w metryki, gdy jej serwery Prometheus zaczęły być zabijane przez OOM killera w ciągu kilku minut od uruchomienia. Wyzwalaczem było rutynowe wdrożenie aplikacji, a przyczyną — jedna nowa etykieta.

Wyzwanie

Jeden z zespołów dodał identyfikator użytkownika jako etykietę licznika żądań. Każdy kolejny użytkownik tworzył nowy szereg czasowy, więc liczba aktywnych szeregów rosła bez ograniczeń w godzinach ruchu. Prometheus zużywał pamięć, dopóki jądro go nie zabiło, a po restarcie musiał odtworzyć dziennik zapisu z wyprzedzeniem (WAL), który rozrósł się do ogromnych rozmiarów — trwało to tak długo, że proces był zabijany ponownie, zanim skończył. System monitoringu utknął w pętli awarii, z której nie potrafił wyjść sam, a przez cały czas przestoju zespół nie miał żadnych metryk.

Środowisko

Prometheus na Kubernetes zbierający metryki z kilkuset celów i zasilający dashboardy Grafana oraz trasy Alertmanagera.

Podejście

Priorytetem było utrzymanie procesu Prometheus przy życiu, co oznaczało przerwanie pętli odtwarzania WAL, zanim zajmiemy się samą metryką. Uruchomiliśmy serwer w stanie pozwalającym dokończyć odtwarzanie, zidentyfikowaliśmy problematyczne szeregi na podstawie kardynalności, odrzuciliśmy je na etapie relabelingu, aby przestały być pobierane, a następnie wprowadziliśmy zabezpieczenia, dzięki którym ten sam rodzaj błędu nie powtórzy się niezauważony.

Rozwiązanie

  1. Przerwanie pętli awarii przez zapewnienie procesowi zapasu pamięci wystarczającego do dokończenia odtwarzania WAL, a następnie potwierdzenie, że blokadę powodowała pamięć, a nie uszkodzenie danych
  2. Uszeregowanie szeregów według kardynalności za pomocą statusu TSDB, aby wskazać problematyczną etykietę w ciągu minut, a nie na podstawie ręcznych oględzin
  3. Odrzucenie nieograniczonej etykiety w metric_relabel_configs, aby przestała być pobierana niezależnie od tego, co emituje aplikacja
  4. Ustawienie sample_limit i label_limit dla każdej konfiguracji scrape, aby pojedynczy wadliwy cel nie mógł ponownie położyć serwera
  5. Dodanie alertu kardynalności na tempo przyrostu aktywnych szeregów, który uruchamia się, zanim pamięć osiągnie stan krytyczny
  6. Wspólne z zespołem aplikacyjnym wypracowanie właściwego wzorca — tożsamość użytkownika powinna trafiać do logów i śladów (traces), a nie do etykiet metryk

Efekt

Liczba aktywnych szeregów wróciła do akceptowalnego poziomu, a pętla awarii OOM skończyła się tego samego dnia. Limity na poziomie scrape wychwyciły od tego czasu dwa kolejne błędy kardynalności już przy pobieraniu, zanim którykolwiek z nich wpłynął na serwer.

Technologie

PrometheusKubernetesGrafanaAlertmanager

Problem produkcyjny z Prometheus?

Starsi inżynierowie Prometheus w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.