Kafka

Ist Kafka 4.0 (KRaft, ohne ZooKeeper) produktionsreif?

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am

ZooKeeperexternalL23KRaft QuorumZooKeeper → KRaft Consensus
Auf dieser Seite

Kafka 4.0 markiert den bedeutendsten Architekturwandel in der Geschichte des Projekts: ZooKeeper, der externe Koordinationsdienst, auf den Kafka seit seinen frühesten Versionen angewiesen war, ist verschwunden. Cluster-Metadaten und der Konsens der Controller werden jetzt intern über KRaft (Kafka Raft) abgewickelt, Kafkas eigenes Raft-basiertes Konsensprotokoll. Das ist eine echte Vereinfachung des Betriebsmodells – ein verteiltes System weniger, das man betreiben und tunen muss –, aber „neu veröffentlichte Major-Architektur“ und „für Ihren konkreten Workload praxiserprobt“ sind zwei verschiedene Aussagen.

Dieser Beitrag zeigt, was sich im Betrieb tatsächlich geändert hat – auf Basis eines realen Produktionsfalls, der speziell mit Kafka 4.0.0 auf ein erhebliches Performanceproblem stieß.

Ist der KRaft-Modus selbst stabil, oder gilt er noch als frühe Beta-Technologie?

Der KRaft-Modus ist in Kafka 4.0 die Standard- und Produktionsarchitektur – zum jetzigen Zeitpunkt keine Beta- oder Preview-Funktion. Unternehmen setzen ihn aktiv produktiv ein, auch für anspruchsvolle Anwendungsfälle: Ein Unternehmen entschied sich für eine Plattform zur Transaktionsverarbeitung im Bankensektor ausdrücklich deshalb für Kafka 4.0.0, weil es die Abhängigkeit von ZooKeeper beseitigt – und betrachtete diese architektonische Vereinfachung als bewusste, zukunftsorientierte Technologieentscheidung statt als zu meidendes Risiko.

Dennoch sind „Die Architektur ist produktionstauglich“ und „Jede Funktion verhält sich genauso wie im ZooKeeper-basierten Modell“ zwei verschiedene Aussagen – und der reale Fall, auf den sich dieser Beitrag durchgehend bezieht, veranschaulicht genau diese Lücke.

Was ist im hier besprochenen realen Fall mit Kafka 4.0 tatsächlich schiefgelaufen?

Eine erhebliche, klar abgrenzbare Performanceregression im Zusammenhang mit Kafka-Transaktionen. Ein Unternehmen, das eine Plattform zur Transaktionsverarbeitung auf Kafka 4.0.0 mit Spring Boot 3.2 und Java 17 betrieb, hatte zuvor mit Standard-Messaging von Kafka einen Durchsatz von rund 320.000 Transaktionen pro Stunde gemessen. Nachdem das System um eine Recovery-Fähigkeit ergänzt worden war – umgesetzt mit dem Transactional Messaging von Kafka –, sank der Durchsatz auf 40.000–50.000 Transaktionen pro Stunde, und entscheidend: Mehr Service-Instanzen verbesserten ihn nicht. Das System verharrte unabhängig von der horizontalen Skalierung an derselben Durchsatzgrenze – ein starkes Indiz dafür, dass der Engpass struktureller Natur war (vermutlich im Coordinator) und nicht auf einfacher Ressourcenkonkurrenz beruhte.

Als das Team denselben Workload ohne Kafka-Transaktionen testete, kehrte die Performance zur Normalität zurück. Damit war die Regression eindeutig auf den Pfad des Transactional Messaging eingegrenzt – nicht auf den KRaft-Modus, die Broker-Konfiguration oder den Anwendungscode im Allgemeinen.

Heißt das, dass Kafka-Transaktionen im KRaft-Modus defekt sind?

Nicht unbedingt defekt – es bedeutet aber, dass speziell Transaktionen eine gründlichere Validierung erfordern, bevor Sie sie für einen performancekritischen Workload einsetzen. Das Verhalten des Transaction Coordinators unter KRaft unterscheidet sich architektonisch von seiner Funktionsweise in ZooKeeper-basierten Clustern, und dieser Unterschied kann sich bei bestimmten Nutzungsmustern genau als eine solche Durchsatzgrenze äußern.

Was wir aus diesem Fall wissen:

  • Die Durchsatzgrenze war reproduzierbar und konstant (nicht sporadisch)
  • Sie reagierte nicht auf horizontale Skalierung, was einfachen Ressourcenmangel als Ursache ausschließt
  • Ohne Transaktionen erreichte derselbe Workload wieder den normalen Durchsatz

Worauf das diagnostisch hindeutet: Das Verhalten des Transaction Coordinators – wie der Transaktionsstatus im Cluster verfolgt, committet und koordiniert wird – ist ein starker Kandidat für den Engpass, da diese Komponente am unmittelbarsten mit dem beobachteten Unterschied zwischen „Transaktionen an“ und „Transaktionen aus“ zusammenhängt. Eine strukturierte Diagnose für ein solches Problem würde als Erstes die Platzierung des Transaction Coordinators, die Konfiguration der Transaktions-Timeouts sowie Kardinalität und Partitionierung der transactional.id untersuchen.

Sollte ich auf Kafka-Transaktionen in 4.0 ganz verzichten?

Nicht unbedingt – aber validieren Sie Ihr konkretes transaktionales Nutzungsmuster unter realistischer Last, bevor Sie sich für einen produktionskritischen, latenzsensiblen Workload darauf festlegen, statt anzunehmen, dass allgemeine Empfehlungen zu Kafka-Transaktionen aus der Dokumentation vor 4.0 unverändert gelten.

Wenn Ihr Anwendungsfall Kafka-Transaktionen erfordert (Exactly-once-Semantik über Produce/Consume-Grenzen hinweg oder atomare Schreibvorgänge über mehrere Partitionen):

  • Testen Sie den Transaktionspfad gezielt und getrennt von Ihrer Durchsatz-Baseline ohne Transaktionen unter Last – mit einer repräsentativen Transaktionsrate und einem repräsentativen transactional.id-Muster
  • Prüfen Sie, ob horizontale Skalierung Ihrer Producer- und Consumer-Instanzen den transaktionalen Durchsatz in Ihrer Umgebung tatsächlich verbessert – falls nicht, ist das dasselbe Warnsignal wie im oben beschriebenen Fall und sollte vor dem Produktivgang untersucht werden
  • Lesen Sie die aktuellen Release Notes und bekannten Probleme von Kafka 4.x gezielt mit Blick auf das Verhalten des Transaction Coordinators unter KRaft, da sich dieser Bereich der Codebasis seit dem Wegfall von ZooKeeper aktiv weiterentwickelt

Wenn Ihr Anwendungsfall Transaktionen nicht zwingend erfordert, prüfen Sie, ob sich Ihre Anforderungen an Recovery und Idempotenz mit alternativen Mustern erfüllen lassen – mit einer idempotenten Producer-Konfiguration allein (ohne vollständige Transaktionen), mit Deduplizierung auf Anwendungsebene oder mit einer anderen Recovery-Architektur –, die den hier beobachteten Engpass womöglich ganz vermeiden.

Mit welchem Lasttestansatz lässt sich die Eignung von Kafka 4.0 für meinen Workload tatsächlich validieren?

Im realen Fall, auf den sich dieser Beitrag durchgehend bezieht, wurde JMeter eingesetzt, um kontrollierte, gleichmäßige Last mit einer bestimmten Transaktionsrate pro Sekunde bzw. Minute zu erzeugen. Das war eine bewusste Entscheidung, weil es klar und steuerbar sichtbar macht, wie das System auf Lastanstiege reagiert – statt sich auf Produktions-Traffic zu verlassen, der sich für Diagnosezwecke schwerer isolieren und reproduzieren lässt.

Ein solider Validierungsansatz:

  1. Ermitteln Sie zuerst eine Durchsatz-Baseline ohne Transaktionen, damit Sie einen sauberen Vergleichspunkt haben
  2. Führen Sie Transaktionen ein und messen Sie die Durchsatzdifferenz unter demselben Lastprofil
  3. Testen Sie die horizontale Skalierung ausdrücklich – fügen Sie Producer- und Consumer-Instanzen hinzu und prüfen Sie, ob der Durchsatz tatsächlich steigt; stagniert er, ist das Ihr Signal, Engpässe auf Coordinator-Ebene zu untersuchen, bevor Sie weitermachen
  4. Nutzen Sie ein Lastgenerierungswerkzeug, mit dem Sie eine gleichmäßige, bekannte Transaktionsrate halten können (JMeter oder für die Producer-Seite Kafkas eigenes kafka-producer-perf-test.sh), statt sich während eines Soft Launch allein auf organischen Traffic zu verlassen

Reaktionszeitziele ab 15 Minuten, je nach Plan. Namentlich zugeordnete Senior Engineers.

Kontakt

Welche Kafka-Version sollten Unternehmen mit älteren ZooKeeper-basierten Clustern tatsächlich ansteuern?

Wenn Sie derzeit eine Version vor KRaft einsetzen und Ihren Upgrade-Pfad planen: Kafka 4.0 und neuer sind konstruktionsbedingt ZooKeeper-frei – die Unterstützung für ZooKeeper wurde mit Kafka 4.0 entfernt, nicht nur als veraltet markiert. Ihre Upgrade-Planung muss daher eine KRaft-Migration als Teil des Pfads enthalten, nicht als optionalen Folgeschritt.

Für Workloads, die Kafka-Transaktionen nicht intensiv nutzen, ist diese Migration in der Regel weniger riskant als der in diesem Beitrag beschriebene Fall, da der hier identifizierte Engpass ausschließlich den transaktionalen Durchsatz betraf und nicht den allgemeinen Betrieb eines KRaft-Clusters. Planen Sie bei Workloads mit vielen Transaktionen im Migrationsplan ausdrücklich Zeit für Lasttests des Transaktionspfads ein – mit dem oben beschriebenen Validierungsansatz –, statt anzunehmen, dass die Transaktionsperformance aus der Zeit vor KRaft unverändert erhalten bleibt.

Was ist das realistische Fazit zur Produktionsreife von Kafka 4.0?

Die KRaft-Kernarchitektur ist produktionsreif und wird aktiv für anspruchsvolle Workloads eingeführt, darunter die Verarbeitung von Finanztransaktionen. Speziell Kafka-Transaktionen erfordern eine eigene Lastvalidierung, bevor Sie sie für einen performancekritischen Produktions-Workload einsetzen – das zeigt unmittelbar eine reale, reproduzierbare Durchsatzregression, die bei Produktionstests beobachtet wurde. Das ist kein Grund, auf Kafka 4.0 zu verzichten, sondern ein Grund, Ihr konkretes Nutzungsmuster gezielt zu testen, statt bei jeder Funktion – Transaktionen eingeschlossen – volle Verhaltensgleichheit mit Kafka-Versionen vor KRaft anzunehmen.

Isolierte Controller oder Combined Mode: was Upstream empfiehlt und was wir einsetzen

Ein KRaft-Cluster hält seine Metadaten in einem Raft-Quorum aus Controller-Nodes statt in ZooKeeper. Das Quorum wählt einen aktiven Controller, dem das Metadaten-Log gehört: Topic- und Partitionsdefinitionen, Replica-Zuweisungen, Leader-Wahlen, Konfigurationen, ACLs. Jeder Broker folgt diesem Log und wendet es lokal an. Jeder Node deklariert über process.roles, was er ist. Ein Node mit process.roles=controller stimmt nur ab und liefert Metadaten aus. Ein Node mit process.roles=broker bedient nur Client-Traffic und Partitionsdaten. Ein Node mit process.roles=broker,controller erledigt beides in derselben JVM – das nennt Upstream Combined Mode.

Die Upstream-Dokumentation ist eindeutig, welche dieser Varianten in die Produktion gehört. Isolierte Controller auf eigenen Servern sind das empfohlene Layout für produktive Workloads. Der Combined Mode wird als geeignet für Entwicklung, Tests und kleine Cluster beschrieben, bei denen Ressourcenisolation keine Rolle spielt. Er wird unterstützt und funktioniert, ist aber nicht das Layout, das Upstream für kritische Deployments empfiehlt – und unsere Erfahrung deckt sich damit.

Der Grund ist die Kopplung von Ausfällen. Im Combined Mode ist ein Broker unter I/O- oder Garbage-Collection-Druck zugleich Controller. Ein angeschlagener Broker verliert also nicht nur die Leadership für seine Partitionen, sondern kann Quorum-Abstimmungen und Metadaten-Commits für den gesamten Cluster ausbremsen. Das Metadaten-Log muss bei jedem Commit ein fsync ausführen, und im Combined Mode konkurriert dieses fsync auf denselben Disks und im selben Page Cache mit den Schreibvorgängen der Partitions-Logs. Eine Lastspitze im Producer-Traffic kann so genau die Komponente verlangsamen, die die Erholung davon koordiniert. Ein Rolling Restart der Broker ist zugleich ein Controller-Neustart, sodass jedes routinemäßige Broker-Upgrade und jede Konfigurationsänderung auch eine Controller-Wahl auslöst. Bei einer Handvoll Broker und wenig Traffic spielt das alles kaum eine Rolle. Bei Tausenden von Partitionen und stark ausgelasteten Disks werden gewöhnliche Broker-Incidents zu clusterweiten Metadaten-Incidents. Erst die Trennung der Rollen sorgt dafür, dass ein Broker-Problem ein Broker-Problem bleibt.

Isolierte Controller zu dimensionieren ist einfach, weil sie nur Metadaten halten, keine Partitionsdaten. Drei Controller sind für die meisten Cluster richtig und verkraften den Verlust eines Controllers. Fünf lohnen sich bei sehr großen Landschaften oder Deployments über mehrere Zonen, bei denen Sie einen Zonenausfall plus ein Wartungsfenster auf einem weiteren Node überstehen wollen – um den Preis eines etwas langsameren Quorums. Kleine Maschinen genügen: wenige Cores, einige GB Heap und eine bescheidene, aber latenzarme Disk für das Metadaten-Log. Platzieren Sie einen Controller pro Availability Zone, damit ein Zonenausfall nicht das Quorum mitreißt. Auf Kubernetes bedeutet das einen dedizierten Controller-Node-Pool, getrennt vom Broker-Pool – mehr dazu in Kafka auf Kubernetes. Die Platzierung des Quorums gehört auch zu jedem ernsthaften Design für Disaster Recovery mit Kafka, denn ein Cluster, der sein Controller-Quorum verloren hat, kann keine Partition Leader wählen, selbst wenn jeder Broker gesund ist.

Die Migration eines bestehenden ZooKeeper-Clusters folgt einer festen Reihenfolge. Fahren Sie das neue Controller-Quorum mit zookeeper.metadata.migration.enable=true und dem ZooKeeper-Connection-String hoch, damit die Controller die vorhandenen Metadaten lesen können. Starten Sie dann die Broker einzeln mit dem Migrations-Flag und konfigurierten Controller-Quorum-Voters neu. Dadurch wechselt der Cluster in den Dual-Write-Modus, in dem Metadaten sowohl in ZooKeeper als auch in das KRaft-Log geschrieben werden. Sobald jeder Broker durchgerollt und die Metadaten verifiziert sind, schließen Sie die Migration ab, indem Sie das Migrations-Flag und die ZooKeeper-Konfiguration von den Controllern entfernen und diese neu starten. Bis zu diesem Punkt können Sie auf ZooKeeper zurückrollen, nach dem Abschluss nicht mehr. Kafka 4.0 hat den ZooKeeper-Modus vollständig entfernt, daher muss das gesamte Verfahren auf dem Bridge Release 3.9 laufen: Sie aktualisieren auf 3.9, migrieren, schließen ab und wechseln erst dann auf 4.x.

Unsere Regel für kritische Workloads ist kurz: isolierte Controller, drei Nodes, einer pro Zone, auf Disks, die von allem anderen getrennt sind. Combined Mode nur, wenn der Cluster weniger als eine Handvoll Broker hat und die Begründung schriftlich festgehalten ist. Wenn wir einen Cluster übernehmen, der im großen Maßstab im Combined Mode läuft, ist die Trennung der Rollen meist unsere erste Änderung – noch vor Partitionsstrategie oder Kapazität. Wenn Sie dieses Review für Ihre Landschaft wünschen, kann unser Team für Kafka-Beratung den Umfang festlegen, und der Kafka-Support betreut den Cluster anschließend mit 24/7-Abdeckung und Reaktionszeitzielen ab 15 Minuten, je nach Plan.

Unterstützung bei Ihrer Migration auf Kafka 4.0

Migrieren Sie auf Kafka 4.0 oder stoßen Sie in Ihrem KRaft-basierten Cluster bei Kafka-Transaktionen auf eine unerklärliche Durchsatzgrenze? Kontaktieren Sie AceMQ für eine Diagnose. Nicht sicher, wo Sie anfangen sollen? Sprechen Sie mit einem Engineer von AceMQ.

Dies ist Schritt eins von zehn im Leitfaden für den Kafka-Betrieb, der die betrieblichen Entscheidungen in der Reihenfolge behandelt, in der sie in einer Produktionslandschaft anfallen.

Häufig gestellte Fragen

Empfiehlt Kafka isolierte KRaft-Controller für die Produktion?

Ja. Die Upstream-Dokumentation von Kafka empfiehlt für produktive Workloads, Controller auf dedizierten Servern zu betreiben, und beschreibt den Combined Mode, bei dem ein Node zugleich Broker und Controller ist, als geeignet für Entwicklung, Tests und kleine Cluster, bei denen Ressourcenisolation keine Rolle spielt. Der Combined Mode wird unterstützt und funktioniert, aber ein Broker unter I/O- oder GC-Druck ist dann zugleich Controller, und ein Broker-Neustart ist zugleich ein Controller-Neustart. Für jeden kritischen Workload setzen wir isolierte Controller auf eigenen Nodes und Disks ein und behandeln den Combined Mode als dokumentierte Ausnahme für sehr kleine Cluster.

Wie viele KRaft-Controller sollte ein Produktionscluster haben?

Drei für die meisten Cluster, fünf für sehr große Landschaften oder Deployments über mehrere Zonen. Ein Quorum aus drei Nodes verkraftet den Verlust eines Controllers, eines aus fünf den Verlust von zwei – das ist wichtig, wenn Sie einen Zonenausfall überstehen wollen, während ein anderer Controller gerade gewartet wird. Controller halten nur Metadaten, daher genügen kleine Nodes mit wenigen Cores, einigen GB Heap und einer Disk mit niedriger Latenz. Platzieren Sie einen Controller pro Availability Zone, legen Sie das Metadaten-Log auf eine eigene Disk und betreiben Sie die Controller auf Kubernetes in einem dedizierten Node Pool. Betreiben Sie keine gerade Anzahl und rechnen Sie Controller nicht als Broker-Kapazität.

Ist der KRaft-Modus in Kafka 4.0 stabil genug für die Produktion?

Ja – KRaft ist in Kafka 4.0 die Standard- und Produktionsarchitektur, keine Beta-Funktion. Unternehmen setzen KRaft aktiv für anspruchsvolle Workloads ein, darunter die Transaktionsverarbeitung im Bankensektor – gerade weil es die Abhängigkeit von ZooKeeper beseitigt.

Was ist im hier besprochenen realen Produktionsfall mit Kafka 4.0 tatsächlich schiefgelaufen?

Bei einer Plattform zur Transaktionsverarbeitung auf Kafka 4.0.0 sank der Durchsatz von rund 320.000 auf 40.000–50.000 Transaktionen pro Stunde, nachdem für die Recovery-Fähigkeit Transactional Messaging von Kafka hinzugefügt worden war. Mehr Service-Instanzen verbesserten den Durchsatz nicht, und ohne Transaktionen kehrte die normale Performance zurück – die Regression ließ sich damit eindeutig auf den Transaktionspfad eingrenzen.

Sind Kafka-Transaktionen im KRaft-Modus defekt?

Nicht unbedingt defekt, aber sie erfordern eine gründlichere Validierung – das Verhalten des Transaction Coordinators unter KRaft unterscheidet sich architektonisch von ZooKeeper-basierten Clustern. Die beobachtete Durchsatzgrenze war reproduzierbar, reagierte nicht auf horizontale Skalierung und verschwand, sobald die Transaktionen entfernt wurden – ein Hinweis darauf, dass das Verhalten des Transaction Coordinators der wahrscheinliche Engpass ist.

Sollte ich auf Kafka-Transaktionen in 4.0 ganz verzichten?

Nicht unbedingt, aber validieren Sie Ihr konkretes transaktionales Nutzungsmuster unter realistischer Last, bevor Sie sich für einen produktionskritischen Workload darauf festlegen. Sind Transaktionen nicht zwingend erforderlich, kommen eine idempotente Producer-Konfiguration oder Deduplizierung auf Anwendungsebene als Alternativen in Betracht, die den Engpass womöglich ganz vermeiden.

Wie sollte ich Kafka 4.0 vor dem Produktivgang unter Last testen?

Ermitteln Sie zuerst eine Durchsatz-Baseline ohne Transaktionen, führen Sie dann Transaktionen ein und messen Sie die Differenz unter demselben Lastprofil. Testen Sie die horizontale Skalierung ausdrücklich – stagniert der Durchsatz, statt zu steigen, untersuchen Sie Engpässe auf Coordinator-Ebene. JMeter oder Kafkas eigenes kafka-producer-perf-test.sh eignen sich beide gut, um gleichmäßige, kontrollierte Last zu erzeugen.

Welche Kafka-Version sollte ich ansteuern, wenn ich noch ZooKeeper-basierte Cluster betreibe?

Kafka 4.0 und neuer sind konstruktionsbedingt ZooKeeper-frei – die Unterstützung für ZooKeeper wurde mit 4.0 entfernt, nicht nur als veraltet markiert. Die Upgrade-Planung muss daher eine KRaft-Migration als Pflichtschritt enthalten, nicht als Option. Workloads mit vielen Transaktionen sollten im Rahmen dieser Migration ausdrücklich Zeit für Lasttests des Transaktionspfads einplanen.

Was ist das Fazit zur Produktionsreife von Kafka 4.0?

Die KRaft-Kernarchitektur ist produktionsreif und wird aktiv für anspruchsvolle Workloads eingesetzt, darunter die Verarbeitung von Finanztransaktionen. Speziell Kafka-Transaktionen erfordern eine eigene Lastvalidierung, bevor Sie sie für performancekritische Produktionsszenarien einsetzen – das zeigt eine reale, reproduzierbare Durchsatzregression.

Kostenlose Beratung

Lassen Sie Experten auf Ihren Kafka-Cluster schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben