Przegląd
Platforma e-commerce straciła wgląd w metryki, gdy jej serwery Prometheus zaczęły być zabijane przez OOM killera w ciągu kilku minut od uruchomienia. Wyzwalaczem było rutynowe wdrożenie aplikacji, a przyczyną — jedna nowa etykieta.
Wyzwanie
Jeden z zespołów dodał identyfikator użytkownika jako etykietę licznika żądań. Każdy kolejny użytkownik tworzył nowy szereg czasowy, więc liczba aktywnych szeregów rosła bez ograniczeń w godzinach ruchu. Prometheus zużywał pamięć, dopóki jądro go nie zabiło, a po restarcie musiał odtworzyć dziennik zapisu z wyprzedzeniem (WAL), który rozrósł się do ogromnych rozmiarów — trwało to tak długo, że proces był zabijany ponownie, zanim skończył. System monitoringu utknął w pętli awarii, z której nie potrafił wyjść sam, a przez cały czas przestoju zespół nie miał żadnych metryk.
Środowisko
Prometheus na Kubernetes zbierający metryki z kilkuset celów i zasilający dashboardy Grafana oraz trasy Alertmanagera.
Podejście
Priorytetem było utrzymanie procesu Prometheus przy życiu, co oznaczało przerwanie pętli odtwarzania WAL, zanim zajmiemy się samą metryką. Uruchomiliśmy serwer w stanie pozwalającym dokończyć odtwarzanie, zidentyfikowaliśmy problematyczne szeregi na podstawie kardynalności, odrzuciliśmy je na etapie relabelingu, aby przestały być pobierane, a następnie wprowadziliśmy zabezpieczenia, dzięki którym ten sam rodzaj błędu nie powtórzy się niezauważony.
Rozwiązanie
- Przerwanie pętli awarii przez zapewnienie procesowi zapasu pamięci wystarczającego do dokończenia odtwarzania WAL, a następnie potwierdzenie, że blokadę powodowała pamięć, a nie uszkodzenie danych
- Uszeregowanie szeregów według kardynalności za pomocą statusu TSDB, aby wskazać problematyczną etykietę w ciągu minut, a nie na podstawie ręcznych oględzin
- Odrzucenie nieograniczonej etykiety w metric_relabel_configs, aby przestała być pobierana niezależnie od tego, co emituje aplikacja
- Ustawienie sample_limit i label_limit dla każdej konfiguracji scrape, aby pojedynczy wadliwy cel nie mógł ponownie położyć serwera
- Dodanie alertu kardynalności na tempo przyrostu aktywnych szeregów, który uruchamia się, zanim pamięć osiągnie stan krytyczny
- Wspólne z zespołem aplikacyjnym wypracowanie właściwego wzorca — tożsamość użytkownika powinna trafiać do logów i śladów (traces), a nie do etykiet metryk
Efekt
Liczba aktywnych szeregów wróciła do akceptowalnego poziomu, a pętla awarii OOM skończyła się tego samego dnia. Limity na poziomie scrape wychwyciły od tego czasu dwa kolejne błędy kardynalności już przy pobieraniu, zanim którykolwiek z nich wpłynął na serwer.