Na tej stronie
Monitorowanie Kafki w jednym akapicie
Monitorowanie Kafki w jednym akapicie
Kafka publikuje metryki przez JMX, więc w kwestii zbierania pozostaje tylko pytanie, jaki eksporter się do niego podłączy. Po stronie brokerów większość sygnału niosą cztery liczby: UnderReplicatedPartitions i UnderMinIsrPartitionCount informują, że replikacja jest zdegradowana, a w drugim przypadku – że zapisy z acks=all już kończą się błędem; OfflinePartitionsCount powyżej zera oznacza, że dane są w tej chwili niedostępne; a suma ActiveControllerCount w całym klastrze musi wynosić dokładnie jeden. Poniżej nich procent bezczynności wątków obsługi żądań i procesorów sieciowych mówi, czy brokery mają zapas. Po stronie klientów lag konsumentów ma znaczenie jako tempo i czas nadrobienia zaległości, a nie surowa odległość offsetów, natomiast wskaźnik błędów producenta i opóźnienie żądań pokazują degradację ścieżki potwierdzeń, zanim dojdzie do awarii. Alerty należy ustawić na cztery warunki brokerów, na lag rosnący dłużej, niż trwa wdrożenie, oraz na błędy producenta; resztę wystarczy pokazywać na wykresach.
Zbieranie metryk: JMX i co z nim zrobić
Każda metryka brokera, producenta i konsumenta, którą przechowuje Kafka, jest udostępniana przez JMX. W praktyce oznacza to uruchomienie Prometheus JMX exporter jako agenta Javy na każdym brokerze i zbieranie metryk klienckich bezpośrednio z aplikacji, zamiast wnioskowania o nich na podstawie brokera. Wyjątkiem, który wart jest osobnego eksportera, jest lag konsumentów, bo widok po stronie brokera i widok samego konsumenta rozjeżdżają się dokładnie w tych sytuacjach, na których Państwu zależy: konsument, który przestał wykonywać poll, wciąż ma zatwierdzone offsety w __consumer_offsets, więc z zewnątrz grupa wygląda na żywą.
Kondycja replikacji: cztery liczby z brokerów
UnderReplicatedPartitions powyżej zera oznacza, że co najmniej jeden follower wypadł ze zbioru replik zsynchronizowanych (ISR): klaster nadal obsługuje ruch, ale redundancja została utracona. UnderMinIsrPartitionCount jest poważniejszy, bo partycja poniżej min.insync.replicas odrzuca każde żądanie produce z acks=all, więc producenci dostają błędy, podczas gdy brokery wyglądają na sprawne. OfflinePartitionsCount powyżej zera oznacza, że partycje nie mają lidera i są niedostępne zarówno do odczytu, jak i zapisu. Z kolei suma ActiveControllerCount w całym klastrze musi wynosić jeden; zero oznacza brak kontrolera, dwa – split brain. Te cztery metryki to lista, przy której trzeba kogoś obudzić.
Nasycenie: wątki obsługi żądań, wątki sieciowe i dysk
RequestHandlerAvgIdlePercent i NetworkProcessorAvgIdlePercent to zapas mocy brokerów. Utrzymujące się wartości poniżej mniej więcej 30 procent oznaczają, że wąskim gardłem są pule wątków, a wszystko za nimi zwalnia, łącznie z replikacją – i tak problem nasycenia zamienia się w problem partycji bez pełnej replikacji. Obok nich warto obserwować tempo kurczenia się i rozszerzania ISR: klaster, który raz po raz zmniejsza i powiększa ISR, zwykle cierpi na brak IO lub przepustowości sieci, a nie brokerów. Drugim klasykiem jest zapełnianie dysków, a o nim decyduje retencja.
Lag konsumentów: tempo, a nie liczba
Lag to odległość między log end offset partycji a zatwierdzonym offsetem grupy konsumentów. Sama wartość bezwzględna niemal nic nie znaczy, bo zdrowy konsument o dużej przepustowości może być tysiące komunikatów w tyle i nadrobić to w kilka sekund. Liczy się to, czy lag rośnie, i ile czasu grupa potrzebowałaby, aby przy obecnym tempie konsumpcji wrócić do zera. Alarmować należy przy utrzymującym się wzroście w oknie dłuższym niż typowe wdrożenie oraz wtedy, gdy czas nadrobienia zaległości przekracza to, co toleruje system niższego rzędu. Stały próg budzi ludzi przy każdym restarcie kroczącym i uczy wszystkich, że można go ignorować.
Rebalanse: liczyć je i znaleźć przyczynę
Rebalans wstrzymuje konsumpcję w całej grupie na czas ponownego przydziału partycji, więc częstotliwość rebalansów jest metryką dostępności konsumpcji. Należy śledzić ją dla każdej grupy osobno. Grupa, która rebalansuje się regularnie, niemal zawsze przekracza max.poll.interval.ms, bo przetworzenie partii trwa dłużej niż skonfigurowany interwał, albo traci członków przez przekroczenie limitu czasu sesji. Rozwiązaniem jest usunięcie przyczyny, a nie wydłużenie limitu czasu, choć cooperative sticky assignment i statyczne członkostwo w grupie zmniejszają koszt każdego rebalansu na czas szukania tej przyczyny.
Strona producenta: wskaźnik błędów i ścieżka opóźnień
Wskaźnik błędów rekordów producenta powyżej zera zawsze zasługuje na alert, bo producent, który nie może zapisywać, traci dane, chyba że aplikacja dobrze obsługuje ten błąd – a większość tego nie robi. Opóźnienie żądań to wskaźnik wyprzedzający: rośnie wraz z degradacją ścieżki potwierdzeń, na długo przed pojawieniem się timeoutów. Spadek buffer-available-bytes w kierunku zera oznacza, że klient produkuje szybciej, niż jest w stanie wysyłać, i zacznie blokować lub odrzucać rekordy – zależnie od konfiguracji. Wszystkie trzy to metryki po stronie klienta, dlatego zbieranie metryk wyłącznie z brokerów pozostawia Państwa ślepymi na rodzaj awarii, który użytkownicy zauważają jako pierwszy.
Lista alertów, którą warto mieć
Budzić dyżurnego przy: partycjach offline powyżej zera, partycjach poniżej min-ISR powyżej zera, liczbie aktywnych kontrolerów różnej od jednego, wskaźniku błędów producenta powyżej zera oraz lagu konsumentów rosnącym dłużej niż okno wdrożenia. Zgłoszenie zamiast budzenia: partycje bez pełnej replikacji, które wracają do normy w ciągu kilku minut, bezczynność wątków obsługi żądań poniżej trzydziestu procent, częstotliwość rebalansów powyżej poziomu bazowego, zajętość dysku powyżej siedemdziesięciu procent. Wszystko inne należy do dashboardu, na który ktoś patrzy w trakcie incydentu, a nie do rotacji dyżurów. Sprawdzianem alertu jest to, czy obudzona osoba może coś z nim zrobić o trzeciej w nocy.
Najczęściej zadawane pytania
Które metryki Kafki powinny naprawdę budzić dyżurnego?
Partycje offline powyżej zera, partycje poniżej min-ISR powyżej zera, liczba aktywnych kontrolerów różna od jednego, wskaźnik błędów rekordów producenta powyżej zera oraz lag konsumentów rosnący w oknie dłuższym niż wdrożenie. Partycje bez pełnej replikacji i nasycenie pul wątków zasługują raczej na zgłoszenie niż na budzenie, chyba że się utrzymują.
Czym różnią się partycje bez pełnej replikacji (under-replicated) od partycji poniżej min-ISR?
Under-replicated oznacza, że follower wypadł ze zbioru replik zsynchronizowanych, więc redundancja jest mniejsza, ale partycja nadal obsługuje ruch. Under-min-ISR oznacza, że zbiór replik zsynchronizowanych spadł poniżej min.insync.replicas, więc żądania produce z acks=all są już odrzucane, choć same brokery wyglądają na zdrowe.
Jak ustawić alerty na lag konsumentów?
Jako tempo i czas nadrobienia zaległości, a nie bezwzględną odległość offsetów. Zdrowy konsument o dużej przepustowości może być daleko w tyle i nadrobić to w kilka sekund, więc stały próg budzi ludzi przy każdym restarcie kroczącym. Alarmować należy, gdy lag rośnie dłużej niż typowe okno wdrożenia.
Czy wystarczy monitorować brokery, czy metryki klientów też mają znaczenie?
Metryki klientów mają znaczenie, a monitorowanie samych brokerów pomija awarie, które użytkownicy zauważają jako pierwsze. Wskaźnik błędów producenta, opóźnienie żądań i lag konsumentów są po stronie klienta; konsument, który przestał wykonywać poll, nadal może wyglądać na żywego z perspektywy zatwierdzonych offsetów widocznych w brokerze.