BlogKafka

Kafka-Architektur: Broker, Partitionen, Replikation und KRaft

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 9 Min. Lesezeit

Kafka-Architektur: Broker, Partitionen, Replikation und KRaft
Auf dieser Seite

Die Kafka-Architektur besteht aus einem Cluster von Brokern, die jedes Topic als Satz partitionierter, replizierter Append-only-Logs speichern, einem kleinen Quorum aus KRaft-Controllern, das die Metadaten des Clusters verwaltet, und Client-Anwendungen, die direkt in diese Partitionen schreiben und aus ihnen lesen. Eine Routing-Schicht dazwischen gibt es nicht: Ein Producer sendet jeden Datensatz direkt an den Broker, der die Ziel-Partition führt, und Consumer holen die Daten dort ab. Seit Apache Kafka 4.0, veröffentlicht am 18. März 2025, ist ZooKeeper Geschichte, und KRaft ist die einzige Möglichkeit, die Control Plane zu betreiben.

Das Diagramm zeigt, wie die Komponenten zusammenhängen. Die folgenden Abschnitte behandeln jede einzeln und die Details, auf die es in Produktion ankommt.

Diagramm der Kafka-Architektur

Diagramm der Kafka-ArchitekturProducer schreiben an Partition-Leader auf drei Brokern. Drei KRaft-Controller verwalten die Metadaten. Eine Consumer Group teilt die Partitionen auf zwei Consumer auf. Kafka Connect und Kafka Streams laufen als Clients, abgeschlossene Segmente können in Object Storage verschoben werden.Kafka-ClusterKRaft-Controller-Quorum (Cluster-Metadaten)Controller 1aktivController 2StandbyController 3StandbyBroker 1orders-0Leaderorders-1Followerorders-2FollowerBroker 2orders-0Followerorders-1Leaderorders-2FollowerBroker 3orders-0Followerorders-1Followerorders-2LeaderTopic „orders“: 3 Partitionen, Replikationsfaktor 3Leader nehmen Schreibvorgänge an; Follower in der ISR kopieren sieGestrichelte Pfeile: Metadaten vom aktiven ControllerProducer AKey = Auftrags-IDProducer BSchreiben anPartition-LeaderConsumer Group„billing“Consumer 1orders-0, -1Consumer 2orders-2Abruf vonPartition-LeadernKafka-Connect-WorkerDatenbanken, Object Stores, SucheKafka-Streams-AnwendungBibliothek in Ihrer AppObject StorageTiered Storageabgeschl. Segmente

Drei Broker halten ein Topic, orders, mit drei Partitionen und jeweils drei Replikaten. Jeder Broker ist Leader einer Partition und Follower der beiden anderen, drei KRaft-Controller halten die Metadaten, und die Consumer Group billing teilt die Partitionen auf ihre zwei Mitglieder auf.

Broker, Topics und Partitionen

Ein Broker ist ein Kafka-Server, der Daten speichert und Client-Anfragen bedient. Ein Topic ist ein benannter Event-Stream, etwa payments oder orders, und jedes Topic ist in Partitionen aufgeteilt, die über die Broker verteilt sind. Jede Partition ist ein geordnetes Append-only-Log: Neue Events werden ans Ende angehängt und erhalten den nächsten fortlaufenden Offset. Das Lesen eines Events löscht es nicht – das übernimmt die Retention. So können mehrere Anwendungen dieselben Daten in ihrem eigenen Tempo lesen.

Die Reihenfolge ist innerhalb einer Partition garantiert, nicht über ein ganzes Topic hinweg. Events mit demselben Key landen immer in derselben Partition, weshalb eine Auftrags- oder Kunden-ID der übliche Key ist. Die Partitionsanzahl begrenzt zudem die Parallelität, denn innerhalb einer Consumer Group wird jede Partition jeweils nur von einem Consumer gelesen.

Wählen Sie die Anzahl sorgfältig. Kafka kann die Zahl der Partitionen eines Topics nicht reduzieren, und spätere zusätzliche Partitionen ändern, welcher Partition ein Key zugeordnet wird. Das bricht die Reihenfolge pro Key für Daten, die bereits unterwegs sind. Mehr dazu in unserem Leitfaden zur Kafka-Partitionsstrategie.

Replikation, Leader und das In-Sync Replica Set

Jede Partition hat einen Replikationsfaktor. Ein Replikat ist der Leader und verarbeitet alle Schreibvorgänge; die anderen sind Follower, die das Log des Leaders kopieren. Welche Follower auf dem aktuellen Stand sind, verfolgt Kafka im In-Sync Replica Set (ISR). Ein Schreibvorgang gilt erst als committed, wenn jedes Replikat in der ISR ihn hat, und nur ISR-Mitglieder können Leader werden. Mit f+1 Replikaten übersteht ein Topic f Broker-Ausfälle ohne Verlust committeter Daten.

Drei Einstellungen bestimmen, was diese Garantie in der Praxis wert ist:

  • Replikationsfaktor. Drei ist der übliche Wert in Produktion.
  • acks beim Producer. Mit acks=all wartet der Producer auf die gesamte ISR. Mit acks=1 hat nur der Leader den Datensatz, wenn der Producer die Erfolgsmeldung erhält.
  • min.insync.replicas auf dem Topic. Schrumpft die ISR unter diesen Wert, lehnt die Partition acks=all-Schreibvorgänge ab, statt sie auf zu wenigen Kopien anzunehmen.

Replikationsfaktor 3 mit min.insync.replicas=2 und acks=all ist die übliche ausfallsichere Basiskonfiguration: Ein Broker kann für Wartungsarbeiten ausfallen, und Schreibvorgänge laufen auf zwei Kopien weiter. Unclean Leader Election, bei der ein nicht synchrones Replikat auf Kosten von Daten übernimmt, ist seit Kafka 0.11.0.0 standardmäßig deaktiviert.

KRaft-Controller: die Control Plane ohne ZooKeeper

Broker halten die Daten, Controller die Metadaten: welche Topics existieren, wo die Replikate jeder Partition liegen, welches Replikat Leader ist und wer zu jeder ISR gehört. Im KRaft-Modus bilden die Controller ein Raft-Quorum und halten diesen Zustand in einem replizierten Metadaten-Log. Einer ist aktiv, die anderen sind Hot Standbys.

Die Einstellung process.roles legt fest, welche Rolle ein Knoten übernimmt: broker, controller oder beides. Die Kafka-Dokumentation rät bei kritischen Deployments vom kombinierten Modus ab, weil sich Controller dann nicht getrennt von den Brokern neu starten oder skalieren lassen. Produktions-Cluster betreiben typischerweise drei oder fünf dedizierte Controller. Eine Mehrheit muss laufen: Drei Controller verkraften einen Ausfall, fünf verkraften zwei.

Kafka 4.0 hat ZooKeeper vollständig entfernt. Ein Cluster, der noch auf ZooKeeper läuft, muss daher auf einem 3.x-Release zu KRaft migrieren, bevor er auf 4.x wechseln kann. Support-Termine der Versionen und den Upgrade-Pfad finden Sie in unserem Leitfaden zum Kafka End of Life (EOL).

Producer, Consumer und Consumer Groups

Ein Producer fragt einen beliebigen Broker nach Metadaten, erfährt, welcher Broker jede Partition führt, und sendet Batches direkt an die Leader. Der Key des Datensatzes bestimmt die Partition; Datensätze ohne Key werden über die Partitionen verteilt. Batching und Kompression erfolgen im Client.

Consumer arbeiten im Pull-Verfahren. Jeder liest ab einem Offset und committet seine Position, sodass der Zustand, den Kafka pro Partition für eine Gruppe speichert, eine einzige Zahl ist. Consumer mit derselben group.id bilden eine Consumer Group, und Kafka weist jede Partition genau einem Mitglied zu. Hat eine Gruppe mehr Consumer als Partitionen, bleiben die überzähligen untätig; zwei verschiedene Gruppen erhalten jeweils den vollständigen Stream.

Zwei aktuelle Releases haben dieses Bild verändert. Kafka 4.0 hat das Rebalance-Protokoll der nächsten Generation (KIP-848) allgemein verfügbar gemacht. Es ist auf dem Broker standardmäßig aktiviert, Clients aktivieren es mit group.protocol=consumer. Es ersetzt die Stop-the-World-Rebalances, die hinter vielen Consumer-Group-Störungen stecken. Kafka 4.2 hat anschließend Share Groups (KIP-932, Queues for Kafka) für produktionsreif erklärt. Mit einer Share Group können mehrere Consumer dieselbe Partition mit Acknowledgement (Ack) pro Datensatz lesen – Queue-artige Arbeitsteilung auf gewöhnlichen Topics.

Speicher: Log-Segmente, Page Cache und Tiered Storage

Auf der Festplatte ist eine Partition ein Verzeichnis mit Segmentdateien. Das aktive Segment nimmt neue Schreibvorgänge auf; erreicht es segment.bytes (standardmäßig 1 GiB) oder sein Zeitlimit, wird es geschlossen und ein neues beginnt. Die Retention löscht ganze Segmente, nach Zeit (standardmäßig sieben Tage) oder nach Größe (standardmäßig deaktiviert). Ein Segment wird erst entfernt, wenn sein neuester Datensatz abgelaufen ist. Die Einstellungen erläutert unser Leitfaden zur Kafka Retention Policy.

Lesevorgänge werden aus dem Page Cache bedient, und die Daten gelangen per sendfile-Systemaufruf vom Page Cache zum Socket. Consumer, die mithalten, verursachen daher oft überhaupt keine Festplattenzugriffe. Dieser Zero-Copy-Pfad entfällt bei aktiviertem TLS, da die Verschlüsselung im User Space stattfindet.

Tiered Storage, seit Kafka 3.9 produktionsreif, ergänzt eine Remote-Ebene. Abgeschlossene Segmente werden in einen externen Speicher wie S3 oder HDFS kopiert, und local.retention.ms bzw. local.retention.bytes begrenzt, wie viel auf den Broker-Festplatten verbleibt. Compacted Topics werden nicht unterstützt.

Kafka Connect und Kafka Streams

Beide basieren auf den Standard-Clients für Producer und Consumer und unterliegen daher denselben Regeln für Partitionen, Gruppen und Offsets.

  • Kafka Connect läuft auf separaten Worker-Servern und überträgt Daten zwischen Kafka und anderen Systemen: etwa per Change Data Capture (CDC) aus einer relationalen Datenbank in ein Topic oder aus einem Topic in Object Storage bzw. einen Suchindex.
  • Kafka Streams ist eine Java-Bibliothek, die innerhalb Ihrer Anwendung läuft. Sie liest Topics, transformiert, verknüpft und aggregiert sie und schreibt die Ergebnisse in andere Topics. Ihre lokalen State Stores werden durch Changelog-Topics in Kafka gesichert, sodass eine neu gestartete Instanz sie wiederherstellen kann.

Da beide Clients sind, zeigen sich ihre Fehler meist als Client-Probleme: Lag, Rebalances oder ein Connector-Task, der an einem fehlerhaften Datensatz hängt.

Wofür Kafka eingesetzt wird – kurz gefasst

Kafka überträgt und speichert Event-Streams zwischen Systemen, die nicht direkt voneinander abhängen sollen. Das Kafka-Projekt nennt diese zentralen Einsatzzwecke:

  • Messaging zwischen Services, als Ersatz für einen klassischen Broker bei durchsatzstarkem, dauerhaftem Datenverkehr.
  • Tracking von Website-Aktivitäten, der ursprüngliche Anwendungsfall von Kafka: Seitenaufrufe, Suchen und andere Nutzeraktionen werden in Topics veröffentlicht.
  • Aggregation von Metriken und Logs vieler Hosts in zentrale Feeds.
  • Stream Processing von Roh-Events zu angereicherten oder aggregierten Topics.
  • Event Sourcing und Commit Logs, bei denen das Topic die Historie der Zustandsänderungen bildet und Log Compaction den neuesten Wert je Key behält.

In der Praxis: Zahlungsverkehr, Sendungsverfolgung, IoT-Daten und Event-Backbones für Microservices. Weniger geeignet ist Kafka für kleine Task-Queues, die Routing pro Nachricht, Prioritäten oder verzögerte Zustellung benötigen. Das ist das Terrain von RabbitMQ; wo die Grenze verläuft, zeigt unser Vergleich RabbitMQ vs. Kafka. Zu jedem Anwendungsfall und dem jeweiligen betrieblichen Haken lesen Sie wofür Kafka eingesetzt wird.

Wann Sie Hilfe holen sollten

Die meisten Kafka-Störungen lassen sich auf eine der oben beschriebenen Entscheidungen zurückführen: eine Partitionsanzahl, die festgelegt wurde, bevor der Key verstanden war, min.insync.replicas auf 1 belassen, Controller, die sich Hosts mit stark ausgelasteten Brokern teilen, oder eine Retention, die auf Festplatten ausgelegt ist, die Tiered Storage hätte entlasten können. Wenn Sie eine zweite Meinung zu einem bestehenden Cluster wünschen oder Engineers in Rufbereitschaft, falls er Probleme macht: AceMQ bietet unabhängigen Kafka-Support für Open-Source-Apache-Kafka sowie Kafka Managed Services, falls Sie den Tagesbetrieb lieber übergeben möchten.

Quellen

Häufig gestellte Fragen

Was sind die wichtigsten Komponenten der Kafka-Architektur?

Broker, die jedes Topic als partitionierte, replizierte Logs speichern; ein Quorum aus KRaft-Controllern, das die Cluster-Metadaten verwaltet; Producer, die an die Partition-Leader schreiben; und Consumer, organisiert in Consumer Groups, die von ihnen lesen. Kafka Connect und Kafka Streams basieren auf denselben Clients.

Verwendet Kafka noch ZooKeeper?

Nein. Apache Kafka 4.0, veröffentlicht am 18. März 2025, ist das erste Major Release, das vollständig ohne ZooKeeper läuft. Die Cluster-Metadaten verwalten KRaft-Controller. Ein Cluster, der noch ZooKeeper nutzt, muss auf einem 3.x-Release zu KRaft migrieren, bevor ein Upgrade auf 4.x möglich ist.

Wie viele KRaft-Controller braucht ein Kafka-Cluster?

In der Regel drei oder fünf. Eine Mehrheit muss verfügbar sein: Drei Controller verkraften einen Ausfall, fünf verkraften zwei. Die Kafka-Dokumentation rät bei kritischen Deployments von kombinierten Broker-/Controller-Knoten ab.

Was ist die ISR in Kafka?

Das In-Sync Replica Set: die Replikate einer Partition, die mit dem Leader auf dem aktuellen Stand sind. Ein Schreibvorgang gilt als committed, sobald jedes ISR-Mitglied ihn hat, und nur ISR-Mitglieder können zum Leader gewählt werden. Mit acks=all und min.insync.replicas auf dem Topic lehnt eine Partition Schreibvorgänge ab, wenn zu wenige Replikate synchron sind.

Wofür wird Kafka eingesetzt?

Übertragung und Speicherung von Event-Streams zwischen Systemen: Messaging zwischen Services, Tracking von Website-Aktivitäten, Aggregation von Metriken und Logs, Stream Processing, Event Sourcing und als Commit Log. In der Praxis bedeutet das Zahlungsverkehr, Auftragsverarbeitung, IoT- und Flottendaten sowie den Event-Backbone für Microservices.

Kann man die Anzahl der Partitionen eines Kafka-Topics reduzieren?

Nein. Kafka unterstützt keine Reduzierung der Partitionsanzahl eines Topics. Sie können Partitionen hinzufügen, doch das ändert, welcher Partition ein Key zugeordnet wird, und beeinflusst damit die Reihenfolge pro Key. Um Partitionen zu reduzieren, legen Sie ein neues Topic an und stellen Producer und Consumer darauf um.

Was ist Tiered Storage in Kafka?

Eine seit Kafka 3.9 produktionsreife Funktion, die abgeschlossene Log-Segmente in externen Speicher wie S3 oder HDFS kopiert, sodass Broker nur aktuelle Daten auf der lokalen Festplatte halten. Compacted Topics werden nicht unterstützt.

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben