BlogKafka

Wofür wird Kafka eingesetzt? 8 typische Use Cases

Scott Sternloff

Von Scott Sternloff, Senior Enterprise Architect

LinkedIn · Aktualisiert am · 6 Min. Lesezeit

Wofür wird Kafka eingesetzt? 8 typische Use Cases
Auf dieser Seite

Apache Kafka wird eingesetzt, um Event-Streams zwischen Systemen zu bewegen und in einem dauerhaften Log vorzuhalten, das viele Anwendungen unabhängig voneinander lesen und per Replay erneut abspielen können. Typische Aufgaben sind Event-Streaming zwischen Microservices, Messaging, Website-Activity-Tracking, Log- und Metrik-Aggregation, Change Data Capture (CDC) aus Datenbanken mit Debezium, Stream Processing, Event Sourcing sowie die Versorgung von Data Lakes, Data Warehouses und KI-Pipelines. Gemeinsam ist allen: Das Lesen eines Events löscht es nicht – das übernimmt die Retention. Ein neuer Consumer kann also von vorn beginnen, und ein fehlerhafter kann zurückspulen.

Dieser Beitrag behandelt die Einsatzzwecke. Wie Kafka selbst aufgebaut ist (Broker, Partitionen, Replikation und KRaft-Controller), lesen Sie unter Kafka-Architektur. Die folgenden Angaben gelten für Apache Kafka 4.x; 4.3.0, veröffentlicht am 22. Mai 2026, ist das aktuelle Feature-Release, und alle 4.x-Releases laufen ausschließlich auf KRaft.

Wann eine Aufgabe gut zu Kafka passt

Drei Eigenschaften entscheiden, ob eine Aufgabe zu Kafka passt:

  • Ein vorgehaltenes Log. Events bleiben für die Retention-Dauer des Topics erhalten, standardmäßig sieben Tage (retention.ms=604800000), oder dauerhaft bei einem kompaktierten Topic. Mehrere Consumer lesen dieselben Daten in ihrem eigenen Tempo.
  • Partitionen. Ein Topic ist in Partitionen aufgeteilt, die die Last auf die Broker verteilen. Die Reihenfolge ist innerhalb einer Partition garantiert, sodass Events mit demselben Key, etwa einer Bestell-ID, in Reihenfolge bleiben.
  • Consumer Groups. Jede Gruppe erhält den gesamten Stream und verwaltet eigene Offsets. Ein neuer Leser beeinflusst die bestehenden also nicht. Innerhalb einer Gruppe wird jede Partition genau einem Consumer zugewiesen.

Braucht eine Aufgabe diese drei Eigenschaften, passt Kafka sehr gut. Braucht sie stattdessen Routing oder Verzögerungen pro Nachricht, suchen Sie besser anderswo.

Typische Einsatzszenarien für Kafka

Die Dokumentation von Apache Kafka nennt Messaging, Activity Tracking, Metriken, Log-Aggregation, Stream Processing, Event Sourcing und Commit Logs als zentrale Einsatzzwecke. In der Praxis sieht das so aus:

Use CaseSo setzt Kafka ihn umDer Haken
Event-Streaming zwischen MicroservicesServices veröffentlichen Domain-Events wie order-placed in Topics; beliebig viele andere Services abonnieren sie über eigene Consumer Groups.Das Topic wird zum gemeinsamen Vertrag. Legen Sie Schema und Kompatibilitätsregel fest, bevor das zweite Team mit dem Konsumieren beginnt.
Messaging zwischen ServicesProducer schreiben mit acks=all; Consumer committen Offsets nach der Verarbeitung. Seit Kafka 4.2 sind Share Groups (Queues for Kafka) produktionsreif: Mehrere Consumer können sich eine Partition teilen, mit Acknowledgement (Ack) pro Record.Kein Broker-seitiges Routing, keine Prioritäten, keine Verzögerungen pro Nachricht. Der entscheidende Gesundheitsindikator ist der Lag; siehe Kafka Consumer Lag.
Website-Activity-TrackingDer ursprüngliche Use Case von Kafka: Seitenaufrufe, Suchen und Klicks werden in Topics veröffentlicht, oft ein Topic pro Aktivitätstyp.Das Volumen ist hoch, die Keys sind ungleich verteilt. Ein besonders aktiver Nutzer oder eine stark frequentierte Seite kann eine Partition überlasten; siehe Kafka-Partitionsstrategie.
Log- und Metrik-AggregationLogs und Betriebsmetriken vieler Hosts werden in Topics geschrieben und dann von Consumern oder Kafka-Connect-Sink-Connectors an Suche, Monitoring oder Storage weitergeleitet.Die Retention muss zum Plattenplatz passen. Tiered Storage, seit Kafka 3.9 produktionsreif, verschiebt abgeschlossene Segmente in Object Storage; siehe Kafka-Retention-Policy.
Change Data Capture (CDC) mit DebeziumDebezium-Source-Connectors laufen auf Kafka Connect und lesen das datenbankeigene Log, etwa das MySQL-Binlog oder die logische Replikation von PostgreSQL. Die Änderungen jeder Tabelle landen standardmäßig in einem eigenen Topic.Unter PostgreSQL hält der Replication Slot das WAL zurück, bis der Connector es bestätigt. Ein gestoppter oder hinterherhinkender Connector lässt so den Plattenverbrauch der Datenbank wachsen. Schemaänderungen und Snapshots erfordern Planung; siehe Debezium-Support. Wenn CDC Ihr einziger Kafka-Einsatzzweck ist, vergleichen Sie Debezium-Alternativen, die auf Kafka Connect verzichten.
Stream ProcessingKafka Streams, eine Java-Bibliothek, liest Topics, joint und aggregiert sie und schreibt die Ergebnisse zurück – mit Exactly-once-Verarbeitung über processing.guarantee=exactly_once_v2. Flink ist die gängige Alternative.State Stores werden nach einem Neustart aus Changelog-Topics neu aufgebaut, was bei großem State lange dauern kann. Siehe Kafka-Exactly-once-Semantik.
Event Sourcing und Commit LogsZustandsänderungen werden als zeitlich geordnete Folge von Records gespeichert; Log Compaction behält den neuesten Wert je Key, sodass ein Service seinen Zustand aus dem Topic rekonstruieren kann.Compaction erfolgt nicht sofort, und das Löschen eines Keys erfordert einen Tombstone-Record. Testen Sie die Rebuild-Dauer, bevor Sie sich darauf verlassen.
Versorgung von Data Lakes, Data Warehouses und KI-PipelinesSink-Connectors schreiben Topics in Object Storage, Data Warehouses und Such-Indizes; dieselben Events können Embedding-Pipelines und Agent-Tools speisen.Jeder Sink ist eine weitere Consumer Group mit eigenen Fehlerbildern. Zu Agent-Workloads siehe Kafka für KI-Agenten.

Ein robuster Ausgangspunkt

Ein minimales, dauerhaftes Topic für jede der oben genannten Aufgaben, angelegt mit den Tools, die Kafka 4.x mitliefert:

bin/kafka-topics.sh --bootstrap-server localhost:9092 \
  --create --topic orders --partitions 12 --replication-factor 3 \
  --config min.insync.replicas=2 --config retention.ms=604800000

# producer side
acks=all
enable.idempotence=true

Replikationsfaktor 3 mit min.insync.replicas=2 und acks=all erlaubt den Ausfall eines Brokers, während Schreibvorgänge auf zwei Kopien weiterlaufen. Wählen Sie die Partitionsanzahl mit Bedacht: Kafka kann sie später nicht verringern, und zusätzliche Partitionen ändern, welcher Partition ein Key zugeordnet wird.

Wo Kafka das falsche Werkzeug ist

  • Kleine Task-Queues mit Routing, Prioritäten oder Verzögerungen pro Nachricht. Share Groups bieten Kafka inzwischen Queue-artiges Konsumieren, Routing und verzögerte Retries sind aber weiterhin Broker-Funktionen von RabbitMQ. Siehe RabbitMQ vs. Kafka und wofür RabbitMQ eingesetzt wird.
  • Geringes Volumen bei kleinem Team. Ein Produktions-Cluster bedeutet Broker, ein KRaft-Controller-Quorum aus drei oder fünf Knoten, Monitoring und Upgrades. Bei wenigen Nachrichten pro Sekunde übersteigen die Betriebskosten meist den Nutzen.
  • Eine Datenbank, die Sie abfragen. Kafka liest per Offset, nicht nach Feld. Schreiben Sie die Daten in eine Datenbank oder ein Data Warehouse und fragen Sie sie dort ab.
  • Synchrones Request-Reply. Kafka kann das abbilden, doch für die meisten Services ist ein HTTP- oder gRPC-Aufruf einfacher und schneller.

Managed Alternativen vergleichen wir unter Kafka vs. Kinesis und NATS vs. Kafka.

Diese Use Cases mit Kafka 4.x betreiben

Kafka 4.0, veröffentlicht am 18. März 2025, hat ZooKeeper entfernt. Cluster, die noch ZooKeeper nutzen, müssen daher auf einem 3.x-Release zu KRaft migrieren, bevor sie upgraden können. Unser Leitfaden zu Kafka End of Life (EOL) behandelt Versionsdaten und den Upgrade-Pfad. Lässt sich das Upgrade nicht zeitnah umsetzen, bietet OSSeva Extended Support für Apache Kafka 2.8 bis 3.9, während Sie es planen.

Wann Sie Hilfe holen sollten

Die meisten Kafka-Probleme beginnen mit einer Entscheidung für eine der oben genannten Aufgaben: eine Partitionsanzahl, gewählt bevor der Key verstanden war; eine Retention, bemessen an den Platten statt am Bedarf; ein gestoppter Debezium-Connector, während sich das WAL anstaut; oder ein Cluster, der als Queue für Aufgaben dient, die Routing gebraucht hätten. AceMQ bietet unabhängigen Kafka-Support für Open-Source Apache Kafka – mit Engineers, die Cluster anhand der tatsächlichen Aufgaben prüfen und eingreifen, wenn sie Probleme machen – sowie Kafka Managed Services, falls Sie den laufenden Betrieb lieber übergeben möchten.

Quellen

Häufig gestellte Fragen

Wofür wird Kafka eingesetzt?

Kafka bewegt Event-Streams zwischen Systemen und hält sie in einem dauerhaften, wiederabspielbaren Log vor: Event-Streaming zwischen Microservices, Messaging, Website-Activity-Tracking, Log- und Metrik-Aggregation, Change Data Capture (CDC) mit Debezium, Stream Processing, Event Sourcing sowie die Versorgung von Data Lakes und KI-Pipelines.

Was ist Apache Kafka, einfach erklärt?

Ein verteiltes Append-only-Log. Producer schreiben Events in Topics, Kafka speichert sie für die Dauer der Retention auf mehreren Servern, und beliebig viele Consumer-Anwendungen lesen sie in ihrem eigenen Tempo – jede verfolgt dabei ihre eigene Position.

Ist Kafka eine Message Queue?

Nicht im klassischen Sinn. Kafka behält Events auch nach dem Lesen und verteilt die Arbeit nach Partition. Seit Kafka 4.2 sind Share Groups (Queues for Kafka) produktionsreif und ermöglichen Queue-artiges Konsumieren mit Acknowledgement (Ack) pro Record. Broker-seitiges Routing, Prioritäten oder Verzögerungen pro Nachricht gibt es aber weiterhin nicht.

Ist Kafka eine Datenbank?

Nein. Kafka speichert Daten dauerhaft, und kompaktierte Topics behalten den jeweils neuesten Wert pro Key. Gelesen wird aber per Offset, nicht per Abfrage. Die meisten Teams schreiben Kafka-Daten in eine Datenbank oder ein Data Warehouse und fragen sie dort ab.

Braucht Kafka noch ZooKeeper?

Nein. Apache Kafka 4.0, veröffentlicht am 18. März 2025, hat ZooKeeper entfernt; alle 4.x-Releases laufen auf KRaft-Controllern. Cluster, die noch ZooKeeper nutzen, müssen auf einem 3.x-Release zu KRaft migrieren, bevor sie auf 4.x upgraden können.

Wann sollten Sie Kafka nicht einsetzen?

Für kleine Task-Queues, die Routing, Prioritäten oder Verzögerungen pro Nachricht brauchen – dafür eignet sich RabbitMQ besser; bei geringen Nachrichtenvolumen, bei denen die Betriebskosten eines Clusters den Nutzen übersteigen; und als Datenbank, die Sie abfragen.

Scott Sternloff

Autor

Scott SternloffSenior Enterprise Architect

Senior Enterprise Architect bei AceMQ. Verantwortet hier die technischen Beiträge: Architektur, Clustering und Migrationen von RabbitMQ, Kafka und Redis.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben