Na tej stronie
org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) to jeden z najczęstszych błędów Kafki na produkcji — i jeden z najczęściej błędnie diagnozowanych. Zespoły często sięgają po zmiany konfiguracji po stronie producenta (podnosząc request.timeout.ms, zwiększając retries), podczas gdy faktyczna przyczyna leży po stronie brokerów, a konkretnie w sposobie rozłożenia ról kontrolera i brokera w klastrze.
W tym artykule omawiamy rzeczywisty przypadek diagnostyczny: fizyczny klaster Kafki z pięciu węzłów, w którym często występowały timeouty producenta, zidentyfikowaną przyczynę źródłową i dokładnie zastosowaną poprawkę.
Jaka jest najczęstsza rzeczywista przyczyna timeoutów producenta Kafki?
Rywalizacja ról kontrolera i brokera na tych samych węzłach.
W klastrze w trybie KRaft (architekturze Kafki po odejściu od ZooKeeper) każdy węzeł można skonfigurować do pracy w łączonej roli broker+kontroler albo rozdzielić te role na dedykowane węzły. Gdy wszystkie węzły pełnią obie role — co jest częste w mniejszych lub rozrastających się żywiołowo klastrach — procesy kontrolera i brokera na każdym węźle nieustannie rywalizują o ten sam CPU i tę samą pamięć.
W rzeczywistym przypadku klaster Kafki z pięciu węzłów, w którym wszystkie węzły pełniły łączoną rolę broker+kontroler, doświadczał timeoutów producenta, których źródłem okazał się węzeł pełniący funkcję lidera kontrolerów: miał nadmierną liczbę aktywnych połączeń, co powodowało rywalizację na poziomie brokera. Jak wprost zdiagnozował to ekspert AceMQ ds. Kafki: „W tej chwili, skoro wasze brokery — tak jak mówiliście, kontrolery i brokery są na tej samej fizycznej maszynie — cały czas rywalizują o pamięć i CPU, a to powoduje opóźnienia w logowaniu. Powoduje to problemy z metadanymi, na których muszą pracować, bo rywalizują ze sobą przy wzajemnych aktualizacjach. Rozdzielcie je”.
Jak sprawdzić, czy współczynnik replikacji przyczynia się do problemu?
Należy sprawdzić, czy współczynnik replikacji jest proporcjonalny do rozmiaru klastra i rzeczywistych potrzeb w zakresie trwałości danych — nadmierna replikacja generuje realny, mierzalny narzut.
W tym samym przypadku diagnostycznym klaster działał ze współczynnikiem replikacji 4 na fizycznym klastrze z 5 węzłów. Bezpośrednia ocena: „Współczynnik replikacji 4 jest nadmierny dla fizycznego klastra z 5 węzłów, bo to wysoki poziom redundancji, ale ma wysoką cenę, zwłaszcza przy waszym rozkładzie tematów na pięciu węzłach. Zdecydowanie zszedłbym do trzech, zwłaszcza przy waszym wolumenie”.
Dlaczego współczynnik replikacji ma znaczenie właśnie dla timeoutów producenta: każdy wysłany komunikat musi zostać potwierdzony przez wymaganą liczbę replik in-sync (określoną ustawieniami acks i min.insync.replicas), zanim producent otrzyma potwierdzenie. Wyższy współczynnik replikacji oznacza, że więcej replik musi zapisać i potwierdzić dane, zanim potwierdzenie wróci — a jeśli te zapisy replik rywalizują o CPU i pamięć z rolą kontrolera na tych samych węzłach, efekty się kumulują i producent zaczyna widzieć timeouty.
Praktyczna zasada: współczynnik replikacji 3 to standardowa wartość bazowa trwałości danych dla Kafki na produkcji. Przejście na 4 lub więcej powinno być świadomą decyzją opartą na wykazanych wymaganiach dotyczących trwałości — a nie ustawieniem domyślnym.
Czy należy oddzielić kontrolery Kafki od brokerów?
Tak, jeśli korzystają Państwo z łączonych ról i mają problemy z opóźnieniami lub timeoutami po stronie producenta — to jedna z najskuteczniejszych dostępnych zmian architektonicznych.
Bezpośrednia rekomendacja z tego samego przypadku diagnostycznego: „Teraz, skoro to produkcja... może dodajcie kolejny kontroler i postawcie go osobno, a po stronie brokerów zostawcie co najmniej 3 węzły”. Nie wymaga to pełnej przebudowy klastra — oznacza dodanie dedykowanych węzłów kontrolera i przekonfigurowanie istniejących węzłów do pracy wyłącznie jako brokery, co zmniejsza rywalizację o CPU i pamięć na każdym węźle klastra.
Praktyczna ścieżka migracji:
- Przygotować nowy węzeł (lub przeznaczyć istniejący) jako dedykowany kontroler
- Przekonfigurować pozostałe węzły na rolę wyłącznie brokera
- Utrzymać co najmniej 3 węzły brokerów dla trwałości danych na produkcji
- Zweryfikować kondycję klastra i zachowanie przy ponownych wyborach przed uznaniem migracji za zakończoną
Jakie inne zmiany konfiguracji ograniczają timeouty producenta?
Częścią tej samej rzeczywistej poprawki były dwie dodatkowe dźwignie strojenia:
Zwiększenie ustawienia wątków I/O w Kafce. Konkretne zalecenie polegało na podwojeniu obecnego ustawienia wątków (num.io.threads lub odpowiadającej mu konfiguracji wątków sieciowych/I/O) — co bezpośrednio usuwa wąskie gardła przepustowości pod obciążeniem bez konieczności zmian architektonicznych.
Monitorowanie ponownych wyborów liderów i przemieszczeń partycji. Częste ponowne wybory kontrolera lub nieplanowane zmiany przywództwa wstrzymują ruch producentów na czas reorganizacji klastra. Jak ujęto to w diagnozie: „Spójrzcie na te dwie metryki — dadzą wam dobre wyczucie niestabilności, tego, jak się zachowują i czy muszą przeprowadzać ponowne wybory, czy muszą ciągle coś przesuwać. Bo kiedy przesuwają, wszystko staje — te tematy zwalniają”. Obserwowanie częstotliwości wyborów liderów i przemieszczeń partycji jako stałych metryk (a nie tylko w trakcie incydentu) daje system wczesnego ostrzegania przed powrotem tego samego wzorca rywalizacji.
Czy to oznacza, że timeout producenta nigdy nie jest problemem konfiguracji producenta?
Nie — konfiguracja po stronie producenta jak najbardziej może być przyczyną źródłową i warto wcześnie ją potwierdzić lub wykluczyć:
request.timeout.msustawiony zbyt agresywnie nisko w stosunku do rzeczywistej charakterystyki sieci i odpowiedzi brokerówmax.in.flight.requests.per.connectionw połączeniu z ponowieniami, powodujące problemy z kolejnością komunikatów, które kumulują się w pozorne timeoutybatch.sizeilinger.msźle dobrane do wzorca przepustowości, przez co producent przetrzymuje komunikaty dłużej, niż oczekiwano, przed ich wysłaniem- Niewystarczająca pamięć bufora po stronie producenta (
buffer.memory), powodującaBufferExhaustedException, który bywa błędnie odczytywany jako timeout
Kluczowa dyscyplina diagnostyczna: najpierw sprawdzić kondycję po stronie brokerów i rozdzielenie kontrolerów od brokerów, ponieważ w rzeczywistych wdrożeniach to częstsza przyczyna źródłowa — zanim poświęci się czas na strojenie konfiguracji klienta producenta, która może wcale nie być faktycznym wąskim gardłem.
A co ze zmianami SSL/TLS — czy mogą powodować timeouty?
Jeśli są Państwo w trakcie aktualizacji lub niedawno zmienili konfigurację TLS i zaczęły pojawiać się timeouty, nie należy zakładać, że TLS nie ma z tym związku — ale też nie należy zakładać, że jest główną przyczyną, jeśli nierozwiązana pozostaje rywalizacja kontrolera z brokerem.
W tym samym przypadku klient niedawno próbował zmienić certyfikat SSL, co się nie powiodło i wymagało wycofania, a niezależnie od tego zgłaszał timeouty producenta. Zalecenie co do kolejności działań było jednoznaczne: najpierw zająć się współczynnikiem replikacji i rozdzieleniem kontrolerów od brokerów — „nie patrzcie teraz na SSL... zejdźcie z replikacją do trzech, dodajcie brokery i je rozdzielcie, a potem zobaczcie, jak to działa... Nie próbowałbym ruszać TLS/SSL, dopóki nie przejdziecie na Kafkę 4”. Najpierw należy ustabilizować podstawową architekturę klastra, a dopiero potem nakładać kolejne zmiany, takie jak rotacja certyfikatów, na już przeciążony klaster.
Czy naprawić to samodzielnie, czy potrzebny jest przegląd eksperta?
Opisany tu schemat diagnostyczny — współczynnik replikacji, topologia kontrolerów i brokerów, konfiguracja wątków i częstotliwość ponownych wyborów — jest w zasięgu zespołu z solidnym doświadczeniem operacyjnym w Kafce. Powód, dla którego ten konkretny przypadek trafił do eksperta, jest jednak typowy: objawy (timeouty producenta) nie wskazują w oczywisty sposób przyczyny (rywalizacji kontrolera z brokerem) bez doświadczenia w diagnostyce na poziomie klastra w wielu różnych topologiach Kafki.
Jeśli obserwują Państwo timeouty producenta i wykluczyli już oczywiste problemy sieciowe, najszybszą drogą do przyczyny źródłowej jest zwykle ustrukturyzowany przegląd topologii ról w klastrze, konfiguracji replikacji i metryk ponownych wyborów — a nie stopniowe strojenie ustawień klienta producenta po jednym parametrze.
Pomoc przy timeoutach producenta Kafki
Występują u Państwa timeouty producenta Kafki na produkcji? Zapraszamy do kontaktu z AceMQ w sprawie przeglądu architektury klastra — ustalimy, czy przyczyną jest rywalizacja na kontrolerze, narzut replikacji, czy coś zupełnie innego. Nie wiedzą Państwo, od czego zacząć? Zapraszamy do rozmowy z inżynierem AceMQ.
To piąty z dziesięciu kroków przewodnika po eksploatacji Kafki, który omawia decyzje operacyjne w kolejności, w jakiej pojawiają się w środowisku produkcyjnym.
Najczęściej zadawane pytania
Jaka jest najczęstsza rzeczywista przyczyna timeoutów producenta Kafki?
Rywalizacja ról kontrolera i brokera na tych samych węzłach fizycznych. W klastrach w trybie KRaft, w których węzły pełnią łączoną rolę broker+kontroler, węzeł będący liderem kontrolerów może gromadzić nadmierną liczbę połączeń i rywalizować z procesem brokera o CPU i pamięć, powodując opóźnienia, które objawiają się jako timeouty po stronie producenta, a nie jako oczywisty błąd brokera.
Jak sprawdzić, czy współczynnik replikacji przyczynia się do timeoutów producenta?
Należy sprawdzić, czy współczynnik replikacji jest proporcjonalny do rozmiaru klastra — współczynnik 4 w klastrze z 5 węzłów to nadmierna redundancja, która generuje realny narzut. Każdy wysłany komunikat musi zostać potwierdzony przez wymaganą liczbę replik in-sync, zanim producent otrzyma potwierdzenie, więc wyższy współczynnik replikacji w połączeniu z rywalizacją na kontrolerze kumuluje się w timeouty. Standardową wartością bazową na produkcji jest współczynnik replikacji 3.
Czy należy oddzielić kontrolery Kafki od brokerów?
Tak, jeśli korzystają Państwo z łączonych ról kontroler+broker i obserwują opóźnienia lub timeouty po stronie producenta — to jedna z najskuteczniejszych dostępnych poprawek. Należy przygotować dedykowany węzeł kontrolera, przekonfigurować istniejące węzły na rolę wyłącznie brokera i utrzymać co najmniej 3 węzły brokerów dla trwałości danych na produkcji.
Jakie inne zmiany konfiguracji pomagają ograniczyć timeouty producenta Kafki?
Podwojenie obecnego ustawienia wątków I/O (num.io.threads lub odpowiednika) bezpośrednio usuwa wąskie gardła przepustowości. Niezależnie od tego warto stale monitorować częstotliwość ponownych wyborów liderów i przemieszczeń partycji — częste ponowne wybory wstrzymują ruch producentów za każdym razem, gdy klaster się reorganizuje.
Czy timeout producenta Kafki bywa faktycznie problemem konfiguracji producenta?
Tak — zbyt niski request.timeout.ms, max.in.flight.requests.per.connection w połączeniu z ponowieniami, źle skonfigurowane batch.size/linger.ms oraz niewystarczające buffer.memory mogą powodować timeouty lub się pod nie podszywać. Najpierw jednak należy sprawdzić kondycję po stronie brokerów i rozdzielenie kontrolerów od brokerów, ponieważ w rzeczywistych wdrożeniach to częstsza przyczyna źródłowa.
Czy niedawna zmiana SSL/TLS może powodować timeouty producenta Kafki?
Możliwe, ale nie należy zakładać, że jest to główna przyczyna, jeśli nierozwiązana pozostaje rywalizacja kontrolera z brokerem lub zawyżony współczynnik replikacji. Najpierw należy ustabilizować podstawową architekturę klastra — współczynnik replikacji i rozdzielenie ról — zanim nałoży się zmiany TLS/SSL na już przeciążony klaster.
Czy rozwiązywać problem timeoutów producenta Kafki samodzielnie, czy skorzystać z przeglądu eksperta?
Współczynnik replikacji, topologia kontrolerów i brokerów, konfiguracja wątków i częstotliwość ponownych wyborów są w zasięgu zespołów z solidnym doświadczeniem operacyjnym w Kafce. Przegląd eksperta pomaga, ponieważ objaw (timeouty producenta) rzadko w oczywisty sposób wskazuje przyczynę (rywalizację na kontrolerze) bez doświadczenia diagnostycznego z wieloma topologiami klastrów.