BlogKafka

Rebalans w Kafka: co go wywołuje i jak zatrzymać burze rebalansów

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja: · 15 min czytania

Rebalans w Kafka: co go wywołuje i jak zatrzymać burze rebalansów
On this page

Rebalans w Kafka to proces ponownego rozdziału partycji między konsumentów w grupie. Jest wywoływany przy każdej zmianie członkostwa — gdy konsument dołącza, odchodzi lub zostaje uznany za martwego — albo gdy zmienia się liczba partycji subskrybowanego topicu. Zdrowa grupa rebalansuje się sporadycznie i krótko. Grupa rebalansująca się co kilka minut ma problem z konfiguracją, a wynikające z tego pauzy są zwykle mylone z problemem brokera lub przepustowości.

Rebalansowanie w Kafka samo w sobie nie jest usterką. To sposób, w jaki Apache Kafka przydziela partycje konsumentom i utrzymuje równomierny rozkład pracy w miarę skalowania wdrożenia. Zrozumienie działania rebalansowania jest ważne, ponieważ problemy pojawiają się wtedy, gdy uruchamia się ono znacznie częściej, niż uzasadnia to obciążenie.

Warto zrozumieć ten mechanizm, ponieważ niemal każda poprawka to zmiana konfiguracji konsumenta, a nie działanie na klastrze.

Co wywołuje rebalans w Kafka?

Cztery zdarzenia, z których tylko dwa pierwsze są zamierzone.

Do grupy dołącza nowy konsument. Skalowanie w górę albo pod uruchamiany po wdrożeniu. To oczekiwane — gdy nowy konsument dołącza do grupy, koordynator rozdziela partycje między konsumentów już działających i nowego członka.

Konsument poprawnie opuszcza grupę. Łagodne zamknięcie, które wysyła żądanie opuszczenia grupy. Również oczekiwane. Za każdym razem, gdy konsument dołącza lub odchodzi, następuje ponowny rozdział.

Konsument zostaje uznany za martwego. Tu właśnie zaczynają się kłopoty. Koordynator grupy inicjuje rebalans w chwili, gdy uzna, że konsumenta nie ma, a dzieje się tak, gdy wygaśnie jeden z dwóch zegarów:

  • session.timeout.ms (domyślnie 45 sekund). Konsument wysyła heartbeaty w wątku tła co heartbeat.interval.ms (domyślnie 3 sekundy). Po pominięciu odpowiedniej liczby heartbeatów koordynator usuwa konsumenta z grupy. W ten sposób wykrywane są rzeczywiste awarie, partycjonowanie sieci i długie pauzy GC.
  • max.poll.interval.ms (domyślnie 5 minut). Odstęp między kolejnymi wywołaniami poll() w wątku głównym. Heartbeaty płyną dalej w wątku tła, więc konsument wygląda na żywego — ale jeśli aplikacja zbyt długo przetwarza partię, koordynator i tak go usuwa.

To drugie ustawienie odpowiada za większość niewyjaśnionych rebalansów na produkcji. Konsument nie uległ awarii. Po prostu przetwarza powoli, a Kafka nie potrafi odróżnić wolnego konsumenta od zawieszonego.

Zmienia się liczba partycji. Gdy do topicu Kafka dodawane są nowe partycje, następuje ponowny przydział. Tak samo działają zmiany subskrypcji.

Dwa ostatnie to zdarzenia rebalansu, których wolelibyśmy uniknąć. Rebalans w Kafka kosztuje tyle samo bez względu na przyczynę, a zbędne rebalansowanie to właśnie to, co zamienia działającą grupę konsumentów w zablokowaną.

Co właściwie dzieje się podczas rebalansu w Kafka?

Wszyscy konsumenci w grupie przestają konsumować, muszą ponownie dołączyć do grupy i czekać, zanim będą mogli wznowić pracę. Lider grupy — jeden z konsumentów, a nie broker Kafka — wysyła żądanie do koordynatora grupy, oblicza przydział partycji i rozsyła wynik. Partycje są najpierw odbierane, a potem rozdawane na nowo — i to, który konsument dostanie konkretne partycje, może się zmieniać w każdej rundzie.

Kluczowa właściwość polega na tym, że jest to bariera synchronizacyjna: wszyscy konsumenci w grupie przechodzą przez nią razem, a najwolniejszy członek wyznacza tempo. Jeśli jeden konsument potrzebuje trzydziestu sekund na ponowne dołączenie, cała grupa czeka trzydzieści sekund. Podczas rebalansowania komunikaty nie są przetwarzane, więc narastają zaległości i rośnie lag, mimo że każdy broker w klastrze Kafka jest zdrowy.

Dlatego rebalanse i lag tak często są ze sobą mylone. Jeśli Państwo ścigają rosnący lag, a nie powodujące go rebalanse, artykuł diagnozowanie lagu konsumentów Kafka omawia stronę objawów.

Rebalansowanie eager a kooperacyjne

Protokół rebalansu w Kafka ma dwie generacje, a to, z której Państwo korzystają, ogromnie zmienia koszt każdego rebalansu.

Rebalansowanie eager to pierwotne zachowanie typu stop-the-world. Każdy konsument oddaje wszystkie przydzielone partycje, zanim zostanie obliczony nowy przydział. Nawet jeśli zmiana przenosi tylko dwie partycje z dwustu, zatrzymuje się wszystko. Długość pauzy zależy od rozmiaru grupy i czasu ponownego dołączenia, a nie od tego, ile faktycznie się zmieniło.

Rebalansowanie przyrostowe odbiera wyłącznie partycje, które faktycznie są przenoszone. Konsumenci dalej przetwarzają wszystko, co zachowują. Kooperacyjny protokół rebalansowania przebiega w dwóch lżejszych rundach zamiast jednej ciężkiej, więc wpływ rebalansu zależy od skali zmiany, a nie od liczby członków grupy. To przyrostowe, kooperacyjne podejście powinno działać w większości środowisk.

Jest ono dostępne od Kafka 2.4 i nie zawsze jest domyślne w starszych klientach Kafka. Statyczne członkostwo pojawiło się nieco wcześniej, w Kafka 2.3. Przełączenie to jedna linia:

partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor

⚠️ Nie wystarczy tego ustawić i wdrożyć. Przejście z eager na kooperacyjny wymaga dwufazowej aktualizacji kroczącej — najpierw wdrożenie z obiema strategiami na liście, aby grupa mogła dojść do porozumienia, a potem usunięcie strategii eager w drugim przebiegu. Zmiana w jednym kroku na działającej grupie zakończy rebalans błędem.

Nowsze wydania idą jeszcze dalej. Nowy protokół rebalansu konsumentów przenosi obliczanie przydziału na broker i całkowicie usuwa globalną barierę synchronizacyjną, więc konsumenci nie zatrzymują się już wszyscy jednocześnie. Ten nowy protokół osiągnął status ogólnej dostępności (GA) w Apache Kafka 4.0. Przy niedawnym wydaniu warto go ocenić — ale większość środowisk produkcyjnych jeszcze tam nie dotarła, a sticky assignor już dziś zapewnia większość korzyści.

Porównanie rebalansowania eager, które zatrzymuje wszystkich konsumentów, z przyrostowym rebalansowaniem kooperacyjnym, które przenosi tylko dotknięte partycje

Strategie przydziału partycji

AssignorDziałanieKoszt rebalansu
RangeAssignorCiągłe zakresy w obrębie każdego topicuEager; przy wielu topicach może rozkładać partycje nierównomiernie
RoundRobinAssignorRównomierny rozkład wszystkich partycjiEager; przydziela wszystko od nowa
StickyAssignorRównomierny rozkład, w miarę możliwości zachowuje poprzedni przydziałEager, ale przenosi mniej partycji
CooperativeStickyAssignorSticky i odbiera tylko to, co się przenosiPrzyrostowy — ten, którego należy chcieć

Zachowanie przydziału (stickiness) ma znaczenie wykraczające poza samą pauzę. Gdy konsument zachowuje te same partycje topicu po rebalansie, zachowuje też rozgrzany stan lokalny — cache, trwające agregacje, magazyny stanu Kafka Streams. Niepotrzebne tasowanie wyrzuca to wszystko, a koszt odbudowy często przewyższa koszt samego rebalansu.

Przy korzystaniu ze Spring Kafka lub innego frameworka opakowującego ustawia się to przez tę samą właściwość bazową — framework nie zmienia dostępnych strategii.

Tabela strategii przydziału partycji w Kafka porównująca assignory range, round robin, sticky i cooperative sticky

Burza rebalansów w Kafka: dlaczego sama nie mija

Problemy z rebalansowaniem, z którymi trafiają do nas klienci, niemal zawsze mają ten sam przebieg:

  1. Przetwarzanie zwalnia — degraduje się API niższego szczebla albo rośnie partia.
  2. Konsument przekracza max.poll.interval.ms i zostaje usunięty z grupy.
  3. Grupa się rebalansuje. Wszyscy się zatrzymują.
  4. Podczas pauzy rosną zaległości.
  5. Po wznowieniu każdy konsument pobiera pełną partię przy większych zaległościach i przetwarza ją dłużej.
  6. Kolejny konsument przekracza interwał. Powrót do kroku 3.

Przepustowość przetwarzania danych załamuje się, podczas gdy sam klaster pozostaje zdrowy.

Sytuacja nigdy nie normuje się sama, ponieważ każdy kolejny rebalans w Kafka zwiększa prawdopodobieństwo następnego — i właśnie dlatego zespoły zaczynają badać klaster, a nie konfigurację konsumenta.

Przerwanie pętli sprowadza się zwykle do tego, by partie kończyły się w ramach interwału:

  • Obniżenie max.poll.records. Najskuteczniejsza pojedyncza zmiana. Mniej rekordów na poll oznacza krótszy czas między wywołaniami poll. Na początek warto zmniejszyć tę wartość o połowę.
  • Podniesienie max.poll.interval.ms tak, by rzeczywiście przekraczało najgorszy, a nie typowy czas przetwarzania. Należy zmierzyć p99, a nie szacować.
  • Przeniesienie wolnej pracy poza wątek pollingu. Jeśli przetwarzanie obejmuje wywołanie sieciowe o nieprzewidywalnym czasie trwania, pętla poll jest dla niego złym miejscem.
  • Nie należy zwiększać session.timeout.ms, aby to naprawić. To inny zegar i nie pomoże — jedynie opóźni wykrywanie rzeczywiście martwych konsumentów.
Diagram pętli sprzężenia zwrotnego: wolne przetwarzanie przekracza max.poll.interval.ms, wywołuje rebalans, rosną zaległości i pojawiają się kolejne rebalanse

Statyczne członkostwo

Tam, gdzie konsumenci są rutynowo restartowani — najoczywiściej przy wdrożeniach kroczących na Kubernetes — ten mechanizm sprawia, że restart w ogóle nie wywołuje rebalansu.

Każdemu konsumentowi należy przypisać stały group.instance.id. Po restarcie w oknie limitu czasu koordynator rozpoznaje powracającego członka i oddaje mu poprzednie partycje bez ponownego rozdziału czegokolwiek:

group.instance.id=consumer-3
session.timeout.ms=45000

Kompromis jest jasny: rzeczywiście martwy członek nie zostaje zastąpiony, dopóki nie wygaśnie jego sesja, więc jego partycje przez to okno pozostają nieobsługiwane. Przed włączeniem tego mechanizmu należy zdecydować, czy rebalans przy restarcie jest potrzebny. Limit czasu należy ustawić tak, by z zapasem przekraczał czas restartu kroczącego, i nie więcej.

Warto też znać ustawienie po stronie brokera dotyczące uruchamiania. group.initial.rebalance.delay.ms (domyślnie 3 sekundy) sprawia, że koordynator krótko czeka przed pierwszym rebalansem, dzięki czemu konsumenci startujący razem tworzą jedną grupę, zamiast rebalansować się wielokrotnie w miarę pojawiania się kolejnych. To drobiazg, który usuwa sporo szumu z wdrożeń na Kubernetes.

Co monitorować

Należy obserwować trzy rzeczy, i to łącznie:

  • Częstotliwość rebalansów. Sam sygnał. Wszystko powyżej sporadycznych przypadków wymaga zbadania — a konsument uwięziony w pętli rebalansów pojawi się tu najpierw.
  • Czas trwania rebalansu. Rosnący czas oznacza, że konsumenci wolno dołączają ponownie — często z powodu tego samego wolnego przetwarzania, które wywołało rebalans.
  • Lag konsumentów podczas rebalansów. Pokazuje, czy pauzy faktycznie kosztują przepustowość, czy są na tyle krótkie, że nie mają znaczenia.

Grupa konsumentów, w której rebalans Kafka następuje kilka razy dziennie przy wdrożeniach, jest w porządku. Grupa rebalansująca się co kilka minut sygnalizuje, że przekraczany jest max.poll.interval.ms, i żadne strojenie klastra tego nie zmieni.

Widzą Państwo burze rebalansów lub niewyjaśnione pauzy konsumentów? Ich przyczyna niemal zawsze tkwi w konfiguracji

konsumenta, a nie w klastrze, dlatego metryki brokera wyglądają czysto, podczas gdy przepustowość

się załamuje. AceMQ prowadzi ustrukturyzowane audyty Kafka, które je wykrywają —

Jeśli całą tę wiedzę ma jedna osoba, to jest to ryzyko kadrowe, a nie ryzyko związane z Kafka: ile naprawdę kosztuje samodzielne wsparcie Kafka.

Rebalansowanie kooperacyjne w praktyce: weryfikacja, migracja oraz zachowanie Streams i Connect

Range, round-robin i pierwotny sticky assignor korzystają z protokołu eager. Przy każdej zmianie członkostwa koordynator przełącza grupę w stan PreparingRebalance, każdy konsument oddaje każdą posiadaną partycję, wszyscy ponownie dołączają, a lider rozdaje świeży przydział. Cała grupa stoi przez cały ten cykl.

Kafka 2.4 wprowadziła rebalansowanie kooperacyjne dla konsumentów. W przyrostowym protokole kooperacyjnym rebalans przebiega w dwóch fazach. W pierwszej lider oblicza nowy przydział, a każdy konsument oddaje tylko odchodzące od niego partycje, nadal wykonując poll i zatwierdzając offsety dla całej reszty. Zaraz potem następuje drugi rebalans, w którym zwolnione partycje trafiają do nowych właścicieli. Jedynym assignorem po stronie klienta korzystającym z tego protokołu jest CooperativeStickyAssignor.

Większość grup, do których jesteśmy wzywani, działa w trybie eager, nie wiedząc o tym. Po pierwsze, konfiguracja konsumenta: partition.assignment.strategy jest listą, a w nowszych klientach domyślna lista zawiera zarówno range, jak i cooperative-sticky. Koordynator wybiera jedną strategię obsługiwaną przez wszystkich członków, więc przy ustawieniu domyślnym wybór pada na range. Po drugie, warto opisać grupę i sprawdzić, co faktycznie wybrał koordynator:

kafka-consumer-groups.sh --bootstrap-server broker:9092 \
  --describe --group orders-svc --state

Kolumna ASSIGNMENT-STRATEGY pokazuje range lub cooperative-sticky. Range oznacza, że każdy restart nadal zatrzymuje całą grupę.

Migracja działającej grupy wymaga dwóch rund restartów kroczących, a kolejność ma znaczenie. W pierwszej należy ustawić partition.assignment.strategy na obecny assignor eager, a po nim CooperativeStickyAssignor, zachowując eager na pierwszym miejscu, aby pozostał wybrany, dopóki stare i nowe instancje działają obok siebie. W drugiej należy usunąć assignor eager. Wykonanie tego w jednym kroku kończy się niepowodzeniem, ponieważ członek dołączający w trakcie restartów nie znajduje strategii wspólnej z pozostałymi i rebalans kończy się błędem.

Aplikacje Kafka Streams już korzystają z protokołu kooperacyjnego za pośrednictwem własnego assignora, więc nie trzeba tam niczego konfigurować. Workery Kafka Connect równoważą konektory i zadania za pomocą odrębnego przyrostowego protokołu kooperacyjnego, sterowanego przez connect.protocol, a ustawienie domyślne włącza go, gdy obsługują go wszystkie workery.

Kompromis jest niewielki. Rebalans kooperacyjny trwa end-to-end nieco dłużej, ponieważ składa się z dwóch rebalansów zamiast jednego, a przenoszone partycje są w tym czasie nieprzydzielone. W zamian partycje, które się nie przenoszą, nigdy się nie zatrzymują. Wybrana liczba partycji ogranicza liczbę konsumentów, którzy mogą dzielić się pracą, co omawiamy w naszym przewodniku po strategii partycjonowania.

Jak naprawić pętle rebalansu: błąd REBALANCE_IN_PROGRESS i ciągłe „preparing rebalance”

„The group is rebalancing, so a rejoin is needed” to komunikat powiązany z kodem błędu REBALANCE_IN_PROGRESS. Koordynator zwraca go konsumentowi, którego żądanie zawiera nieaktualną już generację — najczęściej jest to heartbeat, sync lub zatwierdzenie offsetu wysłane po przejściu grupy w stan PreparingRebalance. Sam w sobie nie oznacza usterki; klient dołącza ponownie i grupa się stabilizuje. Problemem staje się wtedy, gdy powtarza się co kilka sekund, grupa nigdy nie osiąga stanu Stable, a lag rośnie. Broker-koordynator zapisuje w logu odpowiadającą mu linię „Preparing to rebalance group ... (reason: ...)”, a pole reason to najszybszy sposób, by ustalić, która z poniższych sytuacji ma miejsce.

1. Przekroczenie max.poll.interval.ms. Konsument żyje, ale zbyt długo zwlekał między wywołaniami poll, więc został usunięty. Potwierdzenie: logi konsumenta zawierają „consumer poll timeout has expired”, a reason na brokerze wskazuje na opuszczenie grupy przez członka. Poprawka: obniżyć max.poll.records, aż przetworzenie partii w najgorszym przypadku zmieści się w interwale, a max.poll.interval.ms podnieść tylko wtedy, gdy p99 nadal się nie mieści.

2. session.timeout.ms zbyt niski wobec pauz GC lub sieci. Wątek heartbeatu zatrzymuje się lub jego pakiety są opóźnione, a członek zostaje usunięty. Potwierdzenie: reason na brokerze to „heartbeat expiration”, logi GC pokazują pauzy bliskie limitowi czasu i brak komunikatu o przekroczeniu czasu poll. Poprawka: podnieść session.timeout.ms w granicach group.max.session.timeout.ms brokera i usunąć przyczynę pauz. Producenci w tej samej JVM wykazują pokrewne objawy, omówione w artykule przyczyny i naprawa timeoutów producenta.

  • 3. Konsumenci skalowani w pętli. Autoskaler dodaje repliki, gdy lag rośnie, lag spada, autoskaler je usuwa, lag znowu rośnie. Każde zdarzenie skalowania to rebalans. Potwierdzenie: opis grupy z opcją --members pokazuje liczbę członków zmieniającą się z minuty na minutę, zbieżną ze zdarzeniami wdrożeń. Poprawka: dodać okno stabilizacji dla skalowania w dół, ograniczyć liczbę replik do liczby partycji i skalować według gładszego sygnału niż surowy lag. Prawidłowy pomiar lagu opisuje nasz przewodnik po lagu konsumentów.
  • 4. Brak statycznego członkostwa. Bez group.instance.id kroczące wdrożenie dziesięciu podów to dziesięć opuszczeń i dziesięć dołączeń. Z nim pod wracający w limicie czasu sesji wznawia stary przydział bez rebalansu. Potwierdzenie: --members --verbose pokazuje generowane identyfikatory członków, które zmieniają się przy każdym restarcie. Poprawka: ustawić stały identyfikator instancji dla każdego poda.
  • 5. Zmiana koordynatora lub brokera. Partycja __consumer_offsets obsługująca grupę przeniosła się na inny broker, grupa została ponownie załadowana i każdy członek musiał na nowo odnaleźć koordynatora i dołączyć. Potwierdzenie: logi brokera pokazują „Loading group metadata” na nowym brokerze, a czas zbiega się z restartem lub wyborem lidera. Poprawka: po stronie klienta nic. Jeden rebalans na każdy restart brokera jest normalny; powtarzające się przenosiny koordynatora oznaczają, że niestabilny jest sam klaster.

Trzy właściwości, które kończą większość takich pętli:

max.poll.records=100
group.instance.id=orders-svc-${POD_ORDINAL}
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor

Te poprawki wdrażamy u klientów korporacyjnych w ramach wsparcia technicznego Kafka 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu, a w ramach projektów doradztwa Kafka od początku projektujemy grupy w ten sposób.

To czwarty z dziesięciu kroków przewodnika po operacjach Kafka, który omawia decyzje operacyjne w kolejności, w jakiej pojawiają się w środowisku produkcyjnym.

FAQ

Co wywołuje rebalans grupy konsumentów Kafka?

Dołączenie konsumenta, jego poprawne opuszczenie grupy lub uznanie go przez koordynatora grupy za martwego — albo z powodu braku heartbeatów przez czas dłuższy niż session.timeout.ms, albo z powodu przekroczenia max.poll.interval.ms między wywołaniami poll. Rebalans wywołuje też zmiana liczby partycji subskrybowanego topicu.

Dlaczego rebalansowanie powoduje opóźnienia i zaległości?

Ponieważ jest barierą synchronizacyjną. Konsumenci przestają konsumować, gdy grupa ponownie się formuje i czeka na nowy przydział, więc najwolniejszy członek wyznacza długość pauzy dla wszystkich. W tym czasie nic nie jest przetwarzane, a lag rośnie.

Czym jest rebalansowanie kooperacyjne w Kafka?

To protokół przyrostowy, który odbiera wyłącznie partycje faktycznie zmieniające właściciela, pozwalając konsumentom dalej przetwarzać całą resztę. Rebalansowanie eager odbiera wszystkie partycje wszystkim konsumentom, niezależnie od tego, jak niewiele faktycznie się przenosi.

Jak ograniczyć częste rebalanse w Kafka?

Trzeba ustalić, który zegar wygasa. Jeśli partie przetwarzają się zbyt długo, należy obniżyć max.poll.records i podnieść max.poll.interval.ms powyżej najgorszego przypadku. Jeśli przyczyną są restarty, należy zastosować statyczne członkostwo. Następnie warto przejść na kooperacyjny sticky assignor, aby pozostałe rebalanse były tańsze.

Czym jest statyczne członkostwo w grupie?

To stały group.instance.id dla każdego konsumenta, który pozwala koordynatorowi rozpoznać restartującego się członka i zwrócić mu poprzednie partycje bez rebalansu, pod warunkiem że wróci on w limicie czasu sesji.

Jaką strategię przydziału partycji wybrać?

CooperativeStickyAssignor dla większości obciążeń — minimalizuje zarówno przenoszenie partycji, jak i zakłócenia powodowane rebalansem. Migrację należy przeprowadzić w dwóch wdrożeniach kroczących, zamiast zmieniać ustawienie w jednym kroku.

Czy dodanie partycji wywołuje rebalans w Kafka?

Tak. Zwiększenie liczby partycji subskrybowanego topicu powoduje ponowny przydział w grupie, więc zmiany partycji należy traktować jako operację planowaną, a nie rutynową.

Czy rebalans w Kafka jest tym samym co ponowne rozmieszczenie partycji między brokerami?

Nie, a wspólne słownictwo powoduje realne nieporozumienia. Rebalans grupy konsumentów rozdziela partycje między konsumentów. Przenoszenie replik partycji między brokerami to reassignment partycji — odrębna operacja na klastrze, z innymi narzędziami i innym ryzykiem.

Dlaczego moja grupa konsumentów Kafka ciągle się rebalansuje?

Z naszego doświadczenia przyczyny, w kolejności częstości, są następujące: przetworzenie partii z poll trwa dłużej niż max.poll.interval.ms; session.timeout.ms jest zbyt krótki wobec pauz GC w JVM lub opóźnień sieci; autoskaler w pętli dodaje i usuwa konsumentów; konsumenci restartują się bez group.instance.id, więc każde wdrożenie to opuszczenie grupy plus ponowne dołączenie; albo koordynator grupy przeniósł się na inny broker. Która to przyczyna, wskazuje pole reason w linii logu „Preparing to rebalance group” na brokerze-koordynatorze. Opis grupy z opcją --state pokaże, czy kiedykolwiek osiąga stan Stable.

Jak zapobiec przestojom spowodowanym przez rebalans w Kafka?

Trzy ustawienia usuwają większość problemów. Należy przełączyć grupę na CooperativeStickyAssignor, aby wstrzymywane były tylko przenoszone partycje, stosując migrację w dwóch rundach restartów. Każdemu konsumentowi należy nadać stały group.instance.id, aby restarty mieszczące się w limicie czasu sesji w ogóle nie wywoływały rebalansu. Warto ograniczyć max.poll.records, aby wolna partia nie mogła doprowadzić do usunięcia zdrowego konsumenta. Następnie trzeba usunąć źródło fluktuacji: ustabilizować autoskalowanie i utrzymywać liczbę replik na poziomie nie wyższym niż liczba partycji. Dobrze skonfigurowana grupa powinna się rebalansować tylko wtedy, gdy celowo zmienia się jej rozmiar.

Źródła

Scott Sternloff

Autor

Scott SternloffStarszy architekt korporacyjny

Starszy architekt korporacyjny w AceMQ. Odpowiada za treści techniczne: architekturę RabbitMQ, Kafka i Redis, klastrowanie i migracje.

Poradniki, porównania i analizy

Więcej na temat: Kafka

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa klastrowi Kafka

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas