Kafka

Czy Kafka 4.0 (KRaft, bez ZooKeeper) jest gotowa na produkcję?

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja:

ZooKeeperexternalL23KRaft QuorumZooKeeper → KRaft Consensus
Na tej stronie

Kafka 4.0 to najważniejsza zmiana architektoniczna w historii projektu: ZooKeeper, zewnętrzna usługa koordynacji, na której Kafka opierała się od najwcześniejszych wersji, zniknął. Metadane klastra i konsensus kontrolerów są teraz obsługiwane wewnętrznie przez KRaft (Kafka Raft), własny protokół konsensusu Kafki oparty na Raft. To realne uproszczenie modelu operacyjnego — o jeden system rozproszony mniej do utrzymania i strojenia — ale „nowo wydana architektura głównej wersji” i „sprawdzona w boju dla Państwa konkretnego obciążenia” to dwa różne twierdzenia.

W tym artykule opisujemy, co faktycznie zmieniło się operacyjnie, na podstawie rzeczywistego przypadku produkcyjnego, w którym na Kafce 4.0.0 wystąpił poważny problem z wydajnością.

Czy sam tryb KRaft jest stabilny, czy nadal uchodzi za technologię wczesną/beta?

Tryb KRaft to standardowa, produkcyjna architektura w Kafce 4.0 — na tym etapie nie jest to funkcja beta ani wersja zapoznawcza. Organizacje aktywnie wdrażają go na produkcji, także w wymagających zastosowaniach: jedna z organizacji przyjęła Kafkę 4.0.0 dla platformy przetwarzania transakcji w sektorze bankowym wyraźnie dlatego, że usuwa ona zależność od ZooKeeper, traktując to uproszczenie architektury jako świadomy, przyszłościowy wybór technologiczny, a nie ryzyko, którego należy unikać.

Mimo to „architektura jest klasy produkcyjnej” i „każda funkcja działa identycznie jak w modelu opartym na ZooKeeper” to dwa różne twierdzenia — a rzeczywisty przypadek omawiany w tym artykule bezpośrednio ilustruje właśnie tę lukę.

Co faktycznie poszło nie tak w opisanym tu rzeczywistym przypadku Kafki 4.0?

Poważna, konkretna regresja wydajności związana z transakcjami Kafki. Organizacja utrzymująca platformę przetwarzania transakcji na Kafce 4.0.0, ze Spring Boot 3.2 i Java 17, wcześniej mierzyła przepustowość na poziomie około 320 000 transakcji na godzinę przy standardowej komunikacji Kafki. Po dodaniu do systemu możliwości odtwarzania — zrealizowanej za pomocą transakcyjnej komunikacji Kafki — przepustowość spadła do 40 000–50 000 transakcji na godzinę, a co kluczowe, zwiększenie liczby instancji usług jej nie poprawiło. System utknął na tym samym limicie przepustowości niezależnie od skalowania poziomego, co jest silnym sygnałem, że wąskie gardło miało charakter strukturalny (prawdopodobnie związany z koordynatorem), a nie wynikało ze zwykłej rywalizacji o zasoby.

Gdy zespół przetestował to samo obciążenie bez transakcji Kafki, wydajność wróciła do normy — co zawęziło regresję konkretnie do ścieżki komunikacji transakcyjnej, a nie do trybu KRaft, konfiguracji brokera czy ogólnie kodu aplikacji.

Czy to oznacza, że transakcje Kafki w trybie KRaft są zepsute?

Niekoniecznie zepsute — ale oznacza to, że właśnie transakcje wymagają dokładniejszej walidacji przed zastosowaniem ich w obciążeniu wrażliwym na wydajność, ponieważ zachowanie koordynatora transakcji w KRaft różni się architektonicznie od tego w klastrach opartych na ZooKeeper, a ta różnica może przy niektórych wzorcach użycia objawiać się dokładnie takim limitem przepustowości.

Co wiemy z tego przypadku:

  • Limit przepustowości był powtarzalny i stały (nie sporadyczny)
  • Nie reagował na skalowanie poziome, co wyklucza zwykłe niedobory zasobów jako przyczynę
  • Usunięcie transakcji z tego samego obciążenia przywróciło normalną przepustowość

Na co to wskazuje diagnostycznie: zachowanie koordynatora transakcji — sposób śledzenia, zatwierdzania i koordynowania stanu transakcji w klastrze — jest mocnym kandydatem na wąskie gardło, ponieważ to komponent najbardziej bezpośrednio związany z zaobserwowaną różnicą w działaniu „z transakcjami i bez nich”. Ustrukturyzowana diagnostyka takiego problemu w pierwszej kolejności badałaby rozmieszczenie koordynatora transakcji, konfigurację limitu czasu transakcji oraz kardynalność i partycjonowanie transactional.id.

Czy należy całkowicie unikać transakcji Kafki w wersji 4.0?

Niekoniecznie — ale swój konkretny wzorzec użycia transakcji należy zweryfikować pod realistycznym obciążeniem przed zastosowaniem go w krytycznym obciążeniu produkcyjnym wrażliwym na opóźnienia, zamiast zakładać, że ogólne zalecenia dotyczące transakcji Kafki z dokumentacji sprzed wersji 4.0 przenoszą się bez zmian.

Jeśli Państwa przypadek użycia wymaga transakcji Kafki (semantyki exactly-once ponad granicami produkcji i konsumpcji lub atomowych zapisów do wielu partycji):

  • Przeprowadzić testy obciążeniowe samej ścieżki transakcyjnej, osobno względem bazowej przepustowości bez transakcji, z reprezentatywną częstotliwością transakcji i wzorcem transactional.id
  • Sprawdzić, czy skalowanie poziome instancji producentów/konsumentów faktycznie zwiększa przepustowość transakcyjną w Państwa środowisku — jeśli nie, to ten sam sygnał ostrzegawczy, który zaobserwowano w opisanym przypadku, i warto go zbadać przed wejściem na produkcję
  • Przejrzeć aktualne informacje o wydaniach Kafki 4.x i znane problemy dotyczące zachowania koordynatora transakcji w KRaft, ponieważ po usunięciu ZooKeeper jest to aktywnie rozwijany obszar kodu

Jeśli Państwa przypadek użycia nie wymaga bezwzględnie transakcji, warto ocenić, czy wymagania dotyczące odtwarzania i idempotencji można spełnić za pomocą alternatywnych wzorców — samej idempotentnej konfiguracji producenta (bez pełnych transakcji), deduplikacji na poziomie aplikacji lub innej architektury odtwarzania — które mogą całkowicie ominąć zaobserwowane tu wąskie gardło.

Jakie podejście do testów obciążeniowych faktycznie potwierdza gotowość Kafki 4.0 dla danego obciążenia?

W omawianym rzeczywistym przypadku użyto narzędzia JMeter do generowania kontrolowanego, stałego obciążenia o określonej liczbie transakcji na sekundę/minutę — był to świadomy wybór, ponieważ daje jasny, kontrolowany wgląd w to, jak system reaguje na narastanie obciążenia, zamiast polegać na wzorcach ruchu produkcyjnego, które trudniej wyizolować i odtworzyć na potrzeby diagnostyki.

Rozsądne podejście do walidacji:

  1. Najpierw ustalić bazową przepustowość bez transakcji, aby mieć czysty punkt odniesienia
  2. Wprowadzić transakcje i zmierzyć różnicę przepustowości przy tym samym profilu obciążenia
  3. Wprost przetestować skalowanie poziome — dodać instancje producentów/konsumentów i potwierdzić, że przepustowość faktycznie rośnie; jeśli osiąga plateau, to sygnał, by przed dalszymi krokami zbadać wąskie gardła na poziomie koordynatora
  4. Użyć narzędzia do generowania obciążenia, które pozwala utrzymać stałą, znaną częstotliwość transakcji (JMeter albo własne narzędzie Kafki kafka-producer-perf-test.sh do walidacji po stronie producenta), zamiast polegać wyłącznie na naturalnym ruchu podczas miękkiego uruchomienia

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

Na jaką wersję Kafki powinny celować organizacje ze starszymi klastrami opartymi na ZooKeeper?

Jeśli obecnie korzystają Państwo z wersji sprzed KRaft i planują ścieżkę aktualizacji, Kafka 4.0 i nowsze z założenia działają bez ZooKeeper — wsparcie ZooKeeper zostało w Kafce 4.0 usunięte, a nie tylko oznaczone jako przestarzałe. Oznacza to, że plan aktualizacji musi obejmować migrację do KRaft jako część ścieżki, a nie jako opcjonalny kolejny krok.

W przypadku obciążeń, które nie korzystają intensywnie z transakcji Kafki, migracja ta jest zazwyczaj mniej ryzykowna niż opisany tu przypadek, ponieważ zidentyfikowane wąskie gardło dotyczyło wyłącznie przepustowości transakcyjnej, a nie ogólnego działania klastra KRaft. W przypadku obciążeń intensywnie korzystających z transakcji należy w planie migracji wprost przewidzieć czas na testy obciążeniowe ścieżki transakcyjnej, stosując opisane wyżej podejście do walidacji, zamiast zakładać, że charakterystyka wydajności transakcji sprzed KRaft przeniesie się bez zmian.

Jaki jest realistyczny wniosek co do gotowości Kafki 4.0 na produkcję?

Podstawowa architektura KRaft jest gotowa na produkcję i jest aktywnie wdrażana w wymagających obciążeniach, w tym w przetwarzaniu transakcji finansowych. Transakcje Kafki wymagają jednak osobnej walidacji obciążeniowej przed zastosowaniem ich w obciążeniu produkcyjnym wrażliwym na wydajność — co wynika bezpośrednio z rzeczywistej, powtarzalnej regresji przepustowości zaobserwowanej w testach produkcyjnych. Nie jest to powód, by unikać Kafki 4.0 — to powód, by świadomie przetestować swój konkretny wzorzec użycia, zamiast zakładać pełną zgodność zachowania z wersjami Kafki sprzed KRaft w każdej funkcji, łącznie z transakcjami.

Izolowane kontrolery czy tryb łączony: co zaleca upstream i co wdrażamy

Klaster KRaft przechowuje metadane w kworum Raft złożonym z węzłów kontrolerów, a nie w ZooKeeper. Kworum wybiera jeden aktywny kontroler, który jest właścicielem logu metadanych: definicji tematów i partycji, przydziałów replik, wyborów liderów, konfiguracji i ACL. Każdy broker podąża za tym logiem i stosuje go lokalnie. Każdy węzeł deklaruje swoją rolę przez process.roles. Węzeł z process.roles=controller tylko głosuje i udostępnia metadane. Węzeł z process.roles=broker obsługuje wyłącznie ruch klientów i dane partycji. Węzeł z process.roles=broker,controller robi jedno i drugie w tej samej JVM — to właśnie upstream nazywa trybem łączonym.

Dokumentacja upstream jasno wskazuje, który z tych układów nadaje się na produkcję. Izolowane kontrolery na osobnych serwerach to zalecany układ dla obciążeń produkcyjnych. Tryb łączony opisano jako odpowiedni dla środowisk deweloperskich, testowych i małych klastrów, w których izolacja zasobów nie ma znaczenia. Jest wspierany i działa, ale nie jest układem zalecanym przez upstream dla krytycznych wdrożeń — i nasze doświadczenia to potwierdzają.

Powodem jest sprzężenie awarii. W trybie łączonym broker pod presją I/O lub odśmiecania pamięci jest jednocześnie kontrolerem, więc wadliwy broker nie tylko traci przywództwo na swoich partycjach, ale może też wstrzymać głosowania kworum i zatwierdzanie metadanych dla całego klastra. Log metadanych musi wykonywać fsync przy każdym zatwierdzeniu, a w trybie łączonym ten fsync rywalizuje z zapisami logów partycji o te same dyski i ten sam page cache, więc skok ruchu producentów może spowolnić komponent, który koordynuje wychodzenie z jego skutków. Restart kroczący brokerów jest też restartem kontrolerów, więc każda rutynowa aktualizacja brokera lub zmiana konfiguracji wywołuje również wybór kontrolera. Przy kilku brokerach i niewielkim ruchu nie ma to większego znaczenia. Przy tysiącach partycji i mocno obciążonych dyskach zwykłe incydenty brokerów stają się incydentami metadanych obejmującymi cały klaster. Rozdzielenie ról sprawia, że problem brokera pozostaje problemem brokera.

Wymiarowanie izolowanych kontrolerów jest proste, ponieważ przechowują one wyłącznie metadane, a nie dane partycji. Trzy kontrolery są właściwe dla większości klastrów i tolerują utratę jednego. Pięć opłaca się w bardzo dużych środowiskach lub wdrożeniach wielostrefowych, w których chcą Państwo przetrwać utratę strefy przy jednoczesnym oknie serwisowym na innym węźle — kosztem nieco wolniejszego kworum. Wystarczą małe maszyny: kilka rdzeni, kilka GB heap i niewielki, ale szybki dysk o niskich opóźnieniach na log metadanych. Należy umieścić po jednym kontrolerze w każdej strefie dostępności, aby awaria strefy nie mogła pociągnąć za sobą kworum. Na Kubernetes oznacza to dedykowaną pulę węzłów dla kontrolerów, oddzieloną od puli brokerów — opisujemy to w artykule Kafka na Kubernetes. Rozmieszczenie kworum jest też częścią każdego poważnego projektu odtwarzania Kafki po awarii, ponieważ klaster, który utracił kworum kontrolerów, nie może wybierać liderów partycji, nawet jeśli każdy broker jest sprawny.

Migracja istniejącego klastra ZooKeeper przebiega w ustalonej kolejności. Najpierw uruchamia się nowe kworum kontrolerów z zookeeper.metadata.migration.enable=true i connection stringiem ZooKeeper, aby kontrolery mogły odczytać istniejące metadane. Następnie restartuje się brokery jeden po drugim z flagą migracji i skonfigurowanymi głosującymi członkami kworum kontrolerów, co przełącza klaster w tryb podwójnego zapisu, w którym metadane trafiają zarówno do ZooKeeper, jak i do logu KRaft. Gdy każdy broker zostanie zrestartowany, a metadane zweryfikowane, migrację finalizuje się, usuwając flagę migracji i konfigurację ZooKeeper z kontrolerów i restartując je. Do tego momentu można wrócić do ZooKeeper; po finalizacji już nie. Kafka 4.0 całkowicie usunęła tryb ZooKeeper, więc cała ta procedura musi zostać przeprowadzona na wydaniu przejściowym 3.9. Aktualizuje się do 3.9, migruje, finalizuje i dopiero potem przechodzi na 4.x.

Nasza zasada dla krytycznych obciążeń jest krótka. Izolowane kontrolery, trzy węzły, po jednym w każdej strefie, na dyskach oddzielonych od wszystkiego innego. Tryb łączony tylko wtedy, gdy klaster ma zaledwie kilka brokerów, a powód jest zapisany. Gdy przejmujemy klaster działający w trybie łączonym na dużą skalę, rozdzielenie ról jest zwykle naszą pierwszą zmianą — przed strategią partycjonowania czy pojemnością. Jeśli chcą Państwo przeprowadzić taki przegląd we własnym środowisku, zespół doradztwa w zakresie Kafki może określić jego zakres, a wsparcie techniczne Kafki obejmie potem klaster w trybie 24/7 z docelowymi czasami reakcji od 15 minut, zależnie od planu.

Pomoc przy migracji na Kafkę 4.0

Migrują Państwo na Kafkę 4.0 lub widzą niewyjaśniony limit przepustowości przy transakcjach Kafki w klastrze opartym na KRaft? Zapraszamy do kontaktu z AceMQ w sprawie diagnostyki. Nie wiedzą Państwo, od czego zacząć? Zapraszamy do rozmowy z inżynierem AceMQ.

To pierwszy z dziesięciu kroków przewodnika po eksploatacji Kafki, który omawia decyzje operacyjne w kolejności, w jakiej pojawiają się w środowisku produkcyjnym.

Najczęściej zadawane pytania

Czy dokumentacja Kafki zaleca izolowane kontrolery KRaft na produkcji?

Tak. Dokumentacja upstream Kafki zaleca uruchamianie kontrolerów na dedykowanych serwerach w przypadku obciążeń produkcyjnych, a tryb łączony, w którym węzeł jest jednocześnie brokerem i kontrolerem, opisuje jako odpowiedni dla środowisk deweloperskich, testowych i małych klastrów, w których izolacja zasobów nie ma znaczenia. Tryb łączony jest wspierany i działa, ale broker pod presją I/O lub GC jest wtedy również kontrolerem, a restart brokera jest jednocześnie restartem kontrolera. Dla każdego krytycznego obciążenia wdrażamy izolowane kontrolery na osobnych węzłach i dyskach, a tryb łączony traktujemy jako udokumentowany wyjątek dla bardzo małych klastrów.

Ile kontrolerów KRaft powinien mieć klaster produkcyjny?

Trzy w większości klastrów, pięć w bardzo dużych lub wielostrefowych środowiskach. Kworum trzech węzłów toleruje utratę jednego kontrolera, a pięciu — dwóch, co ma znaczenie, gdy chcą Państwo przetrwać awarię strefy w czasie, gdy inny kontroler jest wyłączony na potrzeby prac serwisowych. Kontrolery przechowują wyłącznie metadane, więc wystarczą małe węzły z kilkoma rdzeniami, kilkoma GB heap i dyskiem o niskich opóźnieniach. Należy umieścić po jednym kontrolerze w każdej strefie dostępności, trzymać log metadanych na osobnym dysku i uruchamiać kontrolery w dedykowanej puli węzłów na Kubernetes. Nie należy uruchamiać parzystej liczby kontrolerów ani wliczać ich do pojemności brokerów.

Czy tryb KRaft w Kafce 4.0 jest wystarczająco stabilny na produkcję?

Tak — KRaft to standardowa, produkcyjna architektura w Kafce 4.0, a nie funkcja beta. Organizacje aktywnie wdrażają ją do wymagających obciążeń, w tym przetwarzania transakcji w sektorze bankowym, właśnie dlatego, że usuwa zależność od ZooKeeper.

Co faktycznie poszło nie tak w opisanym tu rzeczywistym przypadku Kafki 4.0 na produkcji?

Platforma przetwarzania transakcji na Kafce 4.0.0 odnotowała spadek przepustowości z około 320 000 do 40 000–50 000 transakcji na godzinę po dodaniu transakcyjnej komunikacji Kafki na potrzeby odtwarzania. Zwiększenie liczby instancji usług nie poprawiło przepustowości, a usunięcie transakcji przywróciło normalną wydajność — co zawęziło regresję konkretnie do ścieżki transakcyjnej.

Czy transakcje Kafki w trybie KRaft są zepsute?

Niekoniecznie zepsute, ale wymagają dokładniejszej walidacji — zachowanie koordynatora transakcji w KRaft różni się architektonicznie od klastrów opartych na ZooKeeper. Zaobserwowany limit przepustowości był powtarzalny, nie reagował na skalowanie poziome i znikał po usunięciu transakcji, co wskazuje na zachowanie koordynatora transakcji jako prawdopodobne wąskie gardło.

Czy należy całkowicie unikać transakcji Kafki w wersji 4.0?

Niekoniecznie, ale przed zastosowaniem ich w krytycznym obciążeniu produkcyjnym należy zweryfikować swój konkretny wzorzec użycia transakcji pod realistycznym obciążeniem. Jeśli transakcje nie są bezwzględnie wymagane, warto rozważyć idempotentną konfigurację producenta lub deduplikację na poziomie aplikacji jako alternatywy, które mogą całkowicie ominąć to wąskie gardło.

Jak przeprowadzić testy obciążeniowe Kafki 4.0 przed wejściem na produkcję?

Najpierw ustalić bazową przepustowość bez transakcji, a następnie wprowadzić transakcje i zmierzyć różnicę przy tym samym profilu obciążenia. Wprost przetestować skalowanie poziome — jeśli przepustowość osiąga plateau zamiast rosnąć, należy zbadać wąskie gardła na poziomie koordynatora. Do generowania stałego, kontrolowanego obciążenia dobrze nadają się zarówno JMeter, jak i narzędzie Kafki kafka-producer-perf-test.sh.

Na jaką wersję Kafki celować, jeśli nadal korzystam z klastrów opartych na ZooKeeper?

Kafka 4.0 i nowsze z założenia działają bez ZooKeeper — wsparcie ZooKeeper zostało w wersji 4.0 usunięte, a nie tylko oznaczone jako przestarzałe — więc plan aktualizacji musi obejmować migrację do KRaft jako krok obowiązkowy, a nie opcjonalny. W przypadku obciążeń intensywnie korzystających z transakcji należy w ramach tej migracji wprost zaplanować czas na testy obciążeniowe ścieżki transakcyjnej.

Jaki jest ostateczny wniosek co do gotowości Kafki 4.0 na produkcję?

Podstawowa architektura KRaft jest gotowa na produkcję i aktywnie wykorzystywana w wymagających obciążeniach, w tym w przetwarzaniu transakcji finansowych. Transakcje Kafki wymagają jednak osobnej walidacji obciążeniowej przed zastosowaniem ich na produkcji wrażliwej na wydajność — na podstawie rzeczywistej, powtarzalnej regresji przepustowości.

Bezpłatna konsultacja

Ekspercka ocena: Klaster Kafka

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas