Auf dieser Seite
Kafka-Migration in einem Absatz
Kafka-Migration in einem Absatz
Um Kafka von ZooKeeper auf KRaft zu migrieren, bringen Sie die Broker auf 3.9.1 oder neuer, starten ein KRaft-Controller-Quorum mit der bestehenden Cluster-ID und aktivierter Migration, starten die Broker im Migrationsmodus und anschließend als KRaft-Broker neu und finalisieren nach einer Beobachtungsphase. Bis zur Finalisierung ist ein Rollback möglich. Abschnitt 1 enthält das vollständige Runbook.
Es gibt drei verschiedene Vorhaben, die Kafka-Migration heißen, und sie haben fast nichts gemeinsam. Der Wechsel von ZooKeeper zu KRaft ist eine Änderung der Metadatenschicht auf demselben Cluster. Er ist Voraussetzung für die 4.x-Linie, weil mit 4.0 ZooKeeper vollständig entfernt wurde, und er läuft über einen Bridge-Modus, für den die Broker zuvor auf einem ausreichend aktuellen 3.x-Release sein müssen. Der Wechsel zwischen Plattformen – ob von selbst betrieben zu MSK, von Confluent zu Open Source oder von beliebiger Plattform zu Redpanda – ist eine Datenmigration: MirrorMaker 2 kopiert die Topics und übersetzt die Consumer-Offsets, und die Reihenfolge der Umstellung entscheidet, ob Sie Nachrichten verlieren. Der komplette Ausstieg aus Kafka, meist hin zu RabbitMQ, ist eine Architekturentscheidung, die anhand des Messaging-Musters getroffen werden sollte, nicht aus Frust über den Betrieb. Jede dieser Migrationen birgt ein anderes Risiko, und nur für die erste setzt das Projekt selbst eine Frist.
Migration von ZooKeeper zu KRaft, Schritt für Schritt
So migrieren Sie Kafka von ZooKeeper zu KRaft: Bringen Sie die Broker auf Apache Kafka 3.9.1 oder neuer mit inter.broker.protocol.version=3.9, starten Sie ein KRaft-Controller-Quorum, das die bestehende Cluster-ID trägt und bei dem die Migration aktiviert ist, starten Sie die Broker im Migrationsmodus neu, starten Sie sie danach erneut als KRaft-Broker, warten Sie ab und finalisieren Sie schließlich, indem Sie die Controller aus dem Migrationsmodus nehmen. Ein Rollback ist bis zur Finalisierung jederzeit möglich, danach nicht mehr. Kafka 4.0 hat ZooKeeper vollständig entfernt. Diese Migration ist daher Voraussetzung für jedes 4.x-Release – deshalb kommt sie vor dem Upgrade und ersetzt es nicht.
Das folgende Runbook folgt der KRaft-Betriebsdokumentation von Apache Kafka 3.9, zuletzt geändert am 23. Oktober 2026, gelesen am 28. Oktober 2026. Prüfen Sie die Seite vor einem Migrationsfenster für Ihr genaues Patch-Release und proben Sie die Migration zuerst auf einer Kopie des Clusters.
Schritt 0: Wissen, was die Migration blockiert
Drei Bedingungen stoppen oder blockieren sie. Features, die KRaft nicht vollständig implementiert, stoppen sie. Ein Broker mit mehreren Log-Verzeichnissen, von denen eines ausgefallen ist, kann erst migrieren, wenn das Verzeichnis repariert ist (KAFKA-16431). Und wurde früher das ZooKeeper Security Migration Tool ausgeführt, kann die Migration an einem fehlerhaften /migration-Knoten hängen bleiben (KAFKA-19480), den Sie mit delete /migration in zookeeper-shell.sh entfernen. Prüfen Sie den alten Cluster auf alle drei Punkte, bevor Sie das Fenster buchen. Ändern Sie die Metadatenversion (inter.broker.protocol.version) nicht, solange eine Migration läuft.
Schritt 1: Alle Broker auf das Bridge-Release bringen
Apache verlangt Broker auf 3.9.1 mit inter.broker.protocol.version=3.9. Version 3.9.2, veröffentlicht am 21. Februar 2026, ist das letzte 3.x-Release und ergänzt ein Kompatibilitäts-Flag für einen bekannten Unterschied darin, was eine AlterConfigPolicy im ZooKeeper- bzw. KRaft-Modus erhält (KIP-1252). Setzen Sie sie also ein, wenn Sie eine solche Policy nutzen. Wenn Sie ACLs verwenden, migrieren Sie auf 3.6.2 oder neuer: Durch CVE-2024-27309 konnte Kafka auf 3.5.0 bis 3.6.1 während einer Migration DENY-Regeln ignorieren (siehe das Kafka CVE Register). Aktivieren Sie auf jedem Controller TRACE-Logging für die Migration mit log4j.logger.org.apache.kafka.metadata.migration=TRACE.
Schritt 2: Cluster-ID auslesen und Controller bereitstellen
bin/zookeeper-shell.sh localhost:2181 get /cluster/idDie KRaft-Controller müssen diese Cluster-ID tragen. Geben Sie jedem Controller eine node.id, die mit keiner broker.id kollidiert, denn Broker und Controller teilen sich einen ID-Raum. Setzen Sie drei oder fünf Controller ein: Eine Mehrheit muss verfügbar sein, drei tolerieren also einen Ausfall, fünf tolerieren zwei. Ein migrationsbereiter Controller sieht so aus (Beispiel von Apache):
process.roles=controller
node.id=3000
controller.quorum.bootstrap.servers=localhost:9093
controller.listener.names=CONTROLLER
listeners=CONTROLLER://:9093
# Enable the migration
zookeeper.metadata.migration.enable=true
# ZooKeeper client configuration
zookeeper.connect=localhost:2181
# Brokers' inter-broker listener, so the controller can send RPCs to them
inter.broker.listener.name=PLAINTEXTbin/kafka-storage.sh format --standalone --cluster-id=<zk-cluster-id> -c config/kraft/controller.properties
bin/kafka-server-start.sh config/kraft/controller.propertiesDas Beispiel von Apache startet einen einzelnen Standalone-Controller. Für ein Quorum aus drei oder fünf Knoten stellen Sie die übrigen Controller so bereit, wie es die KRaft-Dokumentation für Ihr Kafka-Release beschreibt – alle mit derselben Cluster-ID und aktiviertem Migrations-Flag.
Schritt 3: Broker im Migrationsmodus neu starten (Hybridphase)
Ergänzen Sie auf jedem Broker die Einstellungen für das Controller-Quorum und das Migrations-Flag, lassen Sie broker.id auf einer nicht negativen Ganzzahl und starten Sie die Broker nacheinander neu. Die Broker laufen weiterhin im ZooKeeper-Modus, während der KRaft-Controller ihnen Controller-RPCs sendet.
broker.id=0
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
inter.broker.protocol.version=3.9
# Enable the migration
zookeeper.metadata.migration.enable=true
zookeeper.connect=localhost:2181
controller.quorum.bootstrap.servers=localhost:9093
controller.listener.names=CONTROLLERDie Migration startet automatisch, sobald der letzte Broker neu gestartet wurde. Ist die Kopie der Metadaten abgeschlossen, protokolliert der aktive Controller Completed migration of metadata from Zookeeper to KRaft.
Schritt 4: Broker auf KRaft umstellen (Dual-Write-Phase)
Konfigurieren Sie jeden Broker als KRaft-Broker um und starten Sie ihn neu, einen nach dem anderen: Ersetzen Sie broker.id durch node.id mit derselben Nummer, ergänzen Sie process.roles=broker, entfernen Sie die ZooKeeper-Einstellungen und zookeeper.metadata.migration.enable, entfernen Sie control.plane.listener.name, falls gesetzt, und streichen Sie inter.broker.protocol.version, da KRaft stattdessen das Feature metadata.version nutzt. Verwendet der Broker kafka.security.authorizer.AclAuthorizer, ändern Sie bei diesem Neustart authorizer.class.name auf org.apache.kafka.metadata.authorizer.StandardAuthorizer. Währenddessen schreiben die Controller die Metadaten weiterhin nach ZooKeeper.
process.roles=broker
node.id=0
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,CONTROLLER:PLAINTEXT
controller.quorum.bootstrap.servers=localhost:9093
controller.listener.names=CONTROLLERSchritt 5: Beobachten, dann finalisieren
Apache weist darauf hin, dass manche Anwender ein bis zwei Wochen mit der Finalisierung warten – ZooKeeper läuft also so lange weiter –, um den KRaft-Modus unter realer Last zu validieren. Prüfen Sie in dieser Phase bin/kafka-metadata-quorum.sh --bootstrap-server host:9092 describe --status, stellen Sie sicher, dass unterreplizierte und Offline-Partitionen bei 0 liegen, und führen Sie die Ausfalltests durch, die Sie auf jedem neuen Cluster durchführen würden. Zum Finalisieren entfernen Sie zookeeper.metadata.migration.enable und die ZooKeeper-Client-Einstellungen von jedem Controller und starten die Controller nacheinander neu. Danach kann ZooKeeper stillgelegt werden, und die Migration lässt sich nicht mehr rückgängig machen.
Schritt 6: Anschließend auf Kafka 4.x upgraden
Broker können von jedem KRaft-Cluster mit Software- und Metadatenversion ab 3.3.x auf 4.0 und neuer upgraden. Stellen Sie vor dem Upgrade-Fenster die Broker-Hosts auf Java 17 um (Apache unterstützt 17, 21 und 25 für Broker und empfiehlt das neueste LTS) und korrigieren Sie jedes Skript, jeden Admin-Aufruf und jede Config, die noch auf einen ZooKeeper-Connection-String verweist, etwa --zookeeper oder zookeeper.connect, denn 4.x hat keinen ZooKeeper-Modus: Verwenden Sie --bootstrap-server. Stand 28. Oktober 2026 pflegt Apache die Versionen 4.4, 4.3 und 4.2.
Rollback
Die Schritte zum Zurücksetzen hängen davon ab, wie weit Sie gekommen sind, und jeder erfordert zuerst eine Prüfung der ZooKeeper-Controller-Epoch: Apache hat diese Prüfung am 23. Oktober 2026 in die Dokumentation aufgenommen (KAFKA-20488), weil ein ZooKeeper-Controller, der mit einer niedrigeren Epoch als der KRaft-Controller gewählt wurde, den Partitionsstatus nicht ändern kann.
| Zuletzt abgeschlossener Schritt | So setzen Sie zurück |
|---|---|
| Controller bereitgestellt, Broker noch nicht im Migrationsmodus (Schritte 1 und 2) | Das KRaft-Controller-Quorum stilllegen. Sonst hat sich nichts geändert. |
| Broker im Migrationsmodus (Schritt 3) | Das Quorum stilllegen. In zookeeper-shell.sh get /controller_epoch mit dem Feld kraft_controller_epoch in get /migration vergleichen und, falls die KRaft-Epoch höher ist, set /controller_epoch auf einen höheren Wert setzen. delete /controller ausführen, dann get /migration und delete /migration. Auf jedem Broker die Migrationseinstellungen sowie controller.listener.names und controller.quorum.bootstrap.servers entfernen, sicherstellen, dass jeder Broker broker.id statt node.id verwendet, und die Broker per Rolling Restart neu starten. |
| Broker auf KRaft umgestellt (Schritt 4) | Zwei Rolling Restarts. Zuerst process.roles entfernen, broker.id und zookeeper.connect wiederherstellen, zookeeper.metadata.migration.enable=true beibehalten und neu starten. Danach das Quorum stilllegen, die Epoch-Prüfung durchführen, /controller und /migration löschen, die Migrationseinstellungen entfernen und ein zweites Mal neu starten. |
| Finalisiert (Schritt 5) | Ein Zurücksetzen ist nicht möglich. |
Quellen: Apache Kafka KRaft operations (3.9), die Upgrade-Hinweise zu 4.4, die Upgrade-Hinweise zu 4.0, die Seite zu Java-Versionen und die CVE-Liste von Apache Kafka.
Sie wissen nicht, welche Blocker Ihr Cluster hat? Ein Kafka Health Check findet sie, bevor Sie das Fenster buchen. Wenn Sie noch nicht migrieren können und 3.x-Broker sowie ZooKeeper bis dahin gepatcht bleiben müssen, bietet das Extended Support für Kafka und ZooKeeper von OSSeva – ein von AceMQ getrennter Service.
Die Zielplattform wählen
Self-Managed Apache Kafka, Amazon MSK, Confluent Platform, Confluent Cloud und Redpanda unterscheiden sich weniger im Protokoll als darin, wofür Sie verantwortlich sind und was ein Supportvertrag abdecken kann. Die betrieblich entscheidende Frage lautet, welche Ebene bei Ihnen bleibt: MSK stellt Ihnen die Broker bereit und überlässt Topics, Consumer und Connectors Ihnen, während ein vollständig gemanagter Service mehr übernimmt und Sie auch stärker einschränkt. Bewerten Sie das Ziel anhand der gesamten Betriebskosten einschließlich der Arbeitszeit Ihrer Engineers, nicht nur anhand der Infrastrukturposition.
Die Daten kopieren: MirrorMaker 2 und Offset-Übersetzung
MirrorMaker 2 repliziert Topics zwischen Clustern und übersetzt – das ist der wichtige Teil – die Offsets der Consumer Groups, denn ein Offset im Quell-Cluster bedeutet im Ziel-Cluster nicht dasselbe. MirrorMaker 2 läuft als Connect-Cluster und braucht eine eigene Kapazitätsplanung; ein Deployment, das für den Normalbetrieb dimensioniert ist, fällt beim initialen Backfill zurück. Entscheiden Sie früh, ob Topic-Namen mit einem Cluster-Präfix umbenannt oder beibehalten werden. Diese Wahl wirkt sich auf jede Client-Konfiguration aus und lässt sich mitten in der Migration nur mühsam rückgängig machen.
Der Cutover: wo Migrationen tatsächlich scheitern
Die sichere Reihenfolge: replizieren, bis das Ziel aufgeholt hat, Producer stoppen, Consumer die Quelle bis auf null Lag abarbeiten lassen, die korrekte Übersetzung der Offsets prüfen und dann Producer und Consumer gemeinsam umstellen. In Schwierigkeiten geraten Teams, wenn sie die Consumer vor den Producern umziehen – je nachdem, in welche Richtung die Offsets übersetzt wurden, werden dann Nachrichten erneut verarbeitet oder übersprungen. Oder wenn sie Dual-Write betreiben, ohne einen Plan für den späteren Abgleich der beiden Cluster zu haben. Legen Sie das Rollback-Kriterium fest, bevor das Wartungsfenster beginnt, und stellen Sie sicher, dass der Quell-Cluster lange genug unverändert weiterläuft, um darauf zurückgehen zu können.
Wenn das Ziel Kubernetes heißt
Kafka auf Kubernetes zu betreiben verändert die Fehlerbilder, statt sie zu beseitigen: Storage Class und Volume-Verhalten entscheiden, was ein Broker-Neustart kostet, Pod-Anti-Affinity entscheidet, ob ein Knotenausfall ein ganzes Replica-Set mitnimmt, und Rolling Updates müssen die Partition Leadership berücksichtigen, nicht nur die Pod-Readiness. Kubernetes ist ein brauchbares Ziel – aber ein schlechter Ort, um Kafka-Betrieb zum ersten Mal mitten in einer Migration zu lernen.
Weg von Kafka – und wann das richtig ist
Manche IT-Landschaften nutzen Kafka für Aufgaben, die eher eine Queue als ein Log erfordern: Task-Verteilung, Request-Reply, Routing pro Nachricht, selektiver Konsum. Das sind RabbitMQ-Muster. Wer sie Kafka aufzwingt, landet bei genau den Verrenkungen mit Partitionen und Consumer Groups, wegen derer Teams Kafka als kompliziert beschreiben. Treffen Sie die Entscheidung anhand des Messaging-Musters, nicht aus Frust über den Betrieb – denn der Wechsel zu einem Broker, den Sie ebenfalls nicht gut betreiben, löst nichts.
Aus unseren Projekten. American National Insurance benötigte Change Data Capture (CDC) für SQL Server und prüfte dafür Kafka. Kafka wurde für diese Aufgabe als zu komplex im Betrieb eingestuft. AceMQ entwarf deshalb ein Standalone-Setup mit Debezium, das direkt an RabbitMQ publiziert. So entfiel der Betrieb eines Kafka-Clusters und von Kafka Connect, deren Aufwand in keinem Verhältnis zum Datenvolumen gestanden hätte. Das Ergebnis: vollständige Change Capture mit flexiblerem Routing (zur Fallstudie).
Recovery auf dem neuen Cluster nachweisen, bevor Sie ihm vertrauen
Ein migrierter Cluster erbt nichts von dem Vertrauen, das sich der alte erarbeitet hat. Bevor die Quelle stillgelegt wird, spielen Sie auf dem Ziel die Recovery durch, die Sie im Ernstfall bräuchten: auf einen bekannten Stand wiederherstellen oder replayen, prüfen, ob die Retention-Einstellungen zu dem passen, was nachgelagerte Systeme für replaybar halten, und den resultierenden RPO festhalten. Migrationen sind der häufigste Moment, in dem ein Disaster-Recovery-Plan unbemerkt aufhört zu stimmen.
Häufig gestellte Fragen
Muss ich von ZooKeeper auf KRaft migrieren?
Ja, wenn Sie Kafka 4.0 oder neuer betreiben wollen. Mit dem Release 4.0 wurde ZooKeeper nicht abgekündigt, sondern vollständig entfernt. KRaft ist damit Voraussetzung für jedes weitere Upgrade. Die Migration läuft über einen Bridge-Modus, für den die Broker zuvor auf einem ausreichend aktuellen 3.x-Release sein müssen.
Was sollte ich vor der Migration von Kafka von ZooKeeper zu KRaft prüfen?
Sie sollten auf Kafka 3.9.1 sein, dem letzten Bridge-Release, mit inter.broker.protocol.version auf 3.9. Prüfen Sie auf Features, die KRaft nicht vollständig unterstützt, und auf ausgefallene Log-Verzeichnisse – beides blockiert die Migration. Stellen Sie drei oder mehr Controller mit der bestehenden Cluster-ID bereit, deren Node-IDs nicht mit Broker-IDs kollidieren, und legen Sie die Rollback-Regel vorab fest: Zurück zu ZooKeeper geht es nur bis zum Finalisieren. Prüfen Sie anschließend Tooling, das noch --zookeeper verwendet, bevor Sie auf 4.x wechseln.
Welche Java-Version benötigt Kafka 4.0?
Java 17 für Broker, Kafka Connect und die Tools sowie Java 11 oder neuer für Clients und Kafka-Streams-Anwendungen – so die Upgrade-Hinweise zu Apache Kafka 4.0. Planen Sie den JDK-Wechsel auf den Broker-Hosts als Teil jedes Kafka-Upgrades auf 4.0 ein, zusammen mit der KRaft-Migration, die zuerst erfolgen muss.
Wie werden Consumer-Offsets bei einer Kafka-Cluster-Migration behandelt?
MirrorMaker 2 übersetzt die Offsets von Consumer Groups zwischen Clustern, denn dieselbe Offset-Nummer verweist auf dem Ziel nicht auf dieselbe Nachricht. Diese Übersetzung zu verifizieren, bevor Sie die Consumer umstellen, ist der Schritt, der eine saubere Umstellung von einer unterscheidet, bei der Nachrichten erneut verarbeitet oder übersprungen werden.
Wie sieht die sichere Reihenfolge für die Umstellung aus?
Replizieren, bis das Ziel aufgeholt hat, Producer stoppen, Consumer die Quelle bis auf null Lag abarbeiten lassen, übersetzte Offsets verifizieren, dann Producer und Consumer gemeinsam umziehen. Consumer vor den Producern umzustellen ist der häufigste Grund für verlorene oder doppelte Nachrichten.
Sollten wir von Kafka auf RabbitMQ migrieren?
Nur wenn die Workload eher einer Queue als einem Log entspricht: Aufgabenverteilung, Request-Reply, Routing pro Nachricht und selektiver Konsum sind RabbitMQ-Muster. Treffen Sie die Entscheidung anhand des Messaging-Musters, nicht anhand betrieblicher Schwierigkeiten – die hängen meist am Team, nicht am Broker.
Wie migriere ich Schritt für Schritt von ZooKeeper zu KRaft?
Bringen Sie alle Broker auf Apache Kafka 3.9.1 oder neuer mit inter.broker.protocol.version=3.9. Lesen Sie die Cluster-ID aus ZooKeeper aus und starten Sie KRaft-Controller, die diese ID tragen, mit zookeeper.metadata.migration.enable=true. Starten Sie die Broker im Migrationsmodus neu und anschließend jeden einzeln als KRaft-Broker mit process.roles=broker und einer node.id, die seiner bisherigen broker.id entspricht. Entfernen Sie nach einer Beobachtungsphase das Migrations-Flag von den Controllern und starten Sie sie nacheinander neu, um zu finalisieren. Upgraden Sie danach auf 4.x.
Kann ich eine Migration von ZooKeeper zu KRaft per Rollback zurücksetzen?
Ja, bis zur Finalisierung. Die Schritte hängen davon ab, wie weit Sie gekommen sind, und jeder erfordert einen Abgleich der ZooKeeper-Controller-Epoch mit der KRaft-Epoch, damit der übernehmende ZooKeeper-Controller mit einer höheren Epoch startet. Nach der Finalisierung ist eine Rückkehr zu ZooKeeper nicht möglich – deshalb weist Apache darauf hin, dass manche Anwender ein bis zwei Wochen mit der Finalisierung warten.
Erfordert die Migration von ZooKeeper zu KRaft Downtime?
Das Verfahren von Apache startet die Broker per Rolling Restart neu, um die Verfügbarkeit des Clusters nicht zu beeinträchtigen, und die Migration selbst startet automatisch, sobald der letzte Broker im Migrationsmodus neu gestartet wurde. Proben Sie auf einer Kopie des Clusters, denn Clients und Tools, die noch von ZooKeeper ausgehen, sind die übliche Quelle für Überraschungen.