Vergleich · Kafka

Kafka vs. Kinesis im Vergleich

Amazon Kinesis Data Streams und Apache Kafka lösen dasselbe Problem – ein geordnetes, erneut abspielbares Event-Log –, allerdings mit sehr unterschiedlichen Betriebsmodellen. Kinesis ist eine AWS-API, deren Kapazität in Shards oder nach Datenvolumen verkauft wird. Kafka ist Open-Source-Software, die Sie selbst betreiben oder als Managed Service wie Amazon MSK mieten. Diese Seite vergleicht beide auf Basis der Dokumentation von AWS und Apache Kafka, Stand 9. Oktober 2026.

Tyler Eastridge

Von Tyler Eastridge, Head of Operations

LinkedIn · Aktualisiert am · 6 Min. Lesezeit · 7 Abschnitte

Auf dieser Seite

Die kurze Antwort

Die kurze Antwort

Wählen Sie Kinesis Data Streams, wenn der Workload vollständig in AWS läuft, niemand Broker betreiben möchte und die Consumer AWS-Services wie Lambda, Amazon Data Firehose oder Amazon Managed Service for Apache Flink sind. Wählen Sie Kafka, selbst betrieben oder auf Amazon MSK, wenn Sie Retention über 365 Tage, Log Compaction, Exactly-once-Verarbeitung zwischen Topics, Kafka Connect, viele unabhängige Consumer oder ein Protokoll benötigen, das auch außerhalb von AWS läuft. Bei den Kosten entscheiden Volumen und Fan-out: Kinesis rechnet nach Shards oder bewegten Daten ab, Kafka nach den Brokern und dem Speicher, die Sie dauerhaft betreiben.

Amazon Kinesis Data Streams und Apache Kafka nach denselben Kriterien

Amazon Kinesis Data Streams und Apache Kafka nach denselben Kriterien
Amazon Kinesis Data StreamsApache Kafka (selbst betrieben oder Amazon MSK)
SkalierungseinheitShard: 1 MB/s oder 1.000 Records/s eingehend, 2 MB/s ausgehendPartition: begrenzt durch die Broker-Hardware, kein festes Kontingent
KapazitätOn-demand Standard, On-demand Advantage oder provisionierte ShardsSelbst dimensionierte Broker, MSK Standard- oder Express-Broker oder MSK Serverless
RetentionStandardmäßig 24 Stunden, bis zu 365 TageStandardmäßig 7 Tage; nach Zeit, Größe oder unbegrenzt; Log Compaction
ReihenfolgeInnerhalb eines Shards; Partition Key wird per Hash einem Shard zugeordnetInnerhalb einer Partition; gleicher Key, gleiche Partition
ZustellungAt-least-once; Retries erzeugen DuplikateAt-least-once; idempotenter Producer und Transaktionen für Exactly-once
Consumer2 MB/s pro Shard geteilt oder Enhanced Fan-out pro Consumer (20 bzw. 50 mit On-demand Advantage)Beliebig viele Consumer Groups; Share Groups für Queue-artiges Lesen
Record-GrößeBis zu 10 MiBStandardmäßig etwa 1 MB, konfigurierbar
Läuft aufNur AWSIn jeder Cloud, im Rechenzentrum oder auf Kubernetes
Tabelle · Amazon Kinesis Data Streams und Apache Kafka nach denselben Kriterien. Auf kleinen Bildschirmen seitlich scrollen.

So funktioniert Kinesis Data Streams

Ein Kinesis-Stream besteht aus einer Menge von Shards. Jeder Record trägt einen Partition Key, den Kinesis per MD5 hasht, um einen Shard auszuwählen, und erhält beim Schreiben eine Sequenznummer. Im provisionierten Modus nimmt ein Shard bis zu 1 MB/s oder 1.000 Records/s an und liefert 2 MB/s an Leser; die Größe ändern Sie mit UpdateShardCount oder durch Aufteilen und Zusammenführen von Shards. On-demand Standard erspart diese Rechnerei: Ein neuer Stream startet mit 4 MB/s Schreibkapazität und verkraftet bis zum Doppelten seiner Spitzenlast der letzten 30 Tage. Verkehr, der sich innerhalb von 15 Minuten mehr als verdoppelt, wird jedoch gedrosselt. Bei On-demand Advantage, einer Einstellung auf Kontoebene, entfällt die Gebühr pro Stream, und Pre-Warming vor einem Event ist möglich – im Gegenzug verpflichten Sie sich zu mindestens 25 MiB/s bei Ingest und Abruf.

Die Retention beträgt standardmäßig 24 Stunden und lässt sich auf 8.760 Stunden, also 365 Tage, erhöhen. Eine Grenze überrascht viele Teams: Der On-demand-Modus teilt ausgelastete Shards, kann aber keinen Hot Partition Key isolieren. Ein einzelner Key über 1 MB/s oder 1.000 Records/s wird daher in jedem Modus gedrosselt.

So funktionieren Kafka und Amazon MSK

Ein Kafka-Topic ist in Partitionen aufgeteilt, die über Broker verteilt sind – jede ein replizierter Log auf Festplatte. Die Retention gilt pro Topic, beträgt standardmäßig sieben Tage und lässt sich nach Zeit, Größe oder unbegrenzt festlegen. Log Compaction, für die Kinesis kein Gegenstück hat, bewahrt für jeden Key dauerhaft den neuesten Wert. Ein kompaktiertes Topic kann so als Source of Truth für Changelogs und den Wiederaufbau von State dienen. Idempotente Producer und Transaktionen ermöglichen Exactly-once-Verarbeitung zwischen Topics.

Amazon MSK betreibt Open-Source-Kafka in Ihrem AWS-Konto, mit Standard- oder Express-Brokern oder als MSK Serverless. Bestehende Clients, Connectors und Tools funktionieren unverändert. AWS unterstützt den Service; Partitionen, Consumer Groups und Connectors bleiben jedoch Ihre Aufgabe, wie Managed-Kafka-Optionen im Vergleich darlegt.

Reihenfolge, Zustellung und Consumer

Beide ordnen Records nur innerhalb eines Shards bzw. einer Partition. Der Key bestimmt also, was in Reihenfolge bleibt, und beide stellen at-least-once zu. AWS dokumentiert Duplikate durch Producer-Retries sowie durch Consumer, die nach einem Ausfall oder Rebalance am letzten Checkpoint neu starten, und empfiehlt einen eindeutigen Key in jedem Record zur Deduplizierung. Kafka entfernt Producer-seitige Duplikate selbst und kann konsumierte Offsets und produzierte Records in einer Transaktion committen.

Beim Konsumieren unterscheiden sich beide am stärksten. Die 2 MB/s und fünf GetRecords-Aufrufe pro Sekunde eines Kinesis-Shards teilen sich alle Standard-Consumer. AWS empfiehlt daher Enhanced Fan-out, sobald mehr als eine Consumer-Anwendung liest: Jeder registrierte Consumer erhält eigene 2 MB/s pro Shard, bis zur Obergrenze pro Stream. KCL-Anwendungen speichern Leases und Checkpoints in einer DynamoDB-Tabelle – eine weitere Ressource, die dimensioniert werden muss. Lambda liest jeden Shard der Reihe nach und stoppt auf diesem Shard, wenn die Funktion einen Fehler zurückgibt. Ein fehlerhafter Record blockiert also alles dahinter. Kafka-Consumer-Groups speichern Offsets in Kafka, beliebig viele Groups können ein Topic lesen, und Share Groups – seit Kafka 4.2 produktionsreif – ergänzen Queue-artiges Konsumieren mit Acknowledgement (Ack) pro Record.

Reaktionszeitziele ab 15 Minuten, je nach Plan. Namentlich zugeordnete Senior Engineers.

Kontakt

Ökosystem und Portabilität

Kinesis ist nativ in Lambda, Amazon Data Firehose, Managed Service for Apache Flink, EventBridge und Glue integriert. Sind alle Producer und Consumer AWS-Services, ist das der wichtigste Grund für Kinesis. Kafka bringt Kafka Connect, Kafka Streams, Schema Registries und Clients für die meisten Sprachen mit; sein Protokoll sprechen auch MSK, Confluent Cloud, Azure Event Hubs und Redpanda. Eine gegen Kafka entwickelte Anwendung kann zwischen diesen wechseln – eine gegen die Kinesis-API entwickelte bleibt auf AWS.

Was die Kosten treibt

Die Tarife variieren je Region. Vergleichen Sie deshalb die Abrechnungsgrößen auf der Preisseite von Kinesis Data Streams statt eines genannten Preises. Provisioned berechnet Shard-Stunden, PUT-Payload-Einheiten in 25-KB-Blöcken pro Record, Retention über 24 Stunden sowie Enhanced Fan-out pro Consumer-Shard-Stunde und pro GB. On-demand Standard berechnet pro geschriebenem GB (jeder Record auf 1 KB aufgerundet), pro gelesenem GB und pro Stream-Stunde, zuzüglich Retention und Fan-out. On-demand Advantage verzichtet im Gegenzug für die Mindestverpflichtung auf die Stream-Stunden-Gebühr und den Fan-out-Aufschlag.

Die Kafka-Rechnung folgt der Infrastruktur. Provisionierte MSK-Cluster berechnen Broker-Stunden und Speicher, zuzüglich einer Gebühr pro GB für Daten, die auf Express-Broker geschrieben werden, und berechnen keine Replikation zwischen Brokern. Selbst betriebenes Kafka auf EC2 zahlt für Traffic zwischen Availability Zones (AZ) und – meist der größte Posten – für die Engineers, die es betreiben. Kleine, schwankende oder Single-Consumer-Streams sprechen eher für Kinesis On-demand; gleichmäßig hoher Durchsatz, viele Consumer oder lange Retention eher für Kafka.

Wann Sie was wählen sollten

  1. Läuft etwas außerhalb von AWS, oder könnte der Workload umziehen? Kafka.
  2. Benötigen Sie Retention über 365 Tage, Compaction oder Exactly-once zwischen Topics? Kafka.
  3. Werden viele unabhängige Anwendungen denselben Stream lesen? Kafka, ohne Obergrenze pro Consumer.
  4. Ist alles AWS, mit Lambda, Firehose oder Flink als Consumer und niemandem, der Broker betreibt? Kinesis.

Der Wechsel von Kinesis zu Kafka bedeutet vor allem, die Consumer neu zu schreiben, da DynamoDB-Checkpoints nicht übertragbar sind: Schalten Sie an einer bekannten Position um und betreiben Sie beide parallel, bis die Ergebnisse übereinstimmen.

So haben wir verglichen

Wir haben Amazon Kinesis Data Streams und Apache Kafka – selbst betrieben oder auf Amazon MSK – anhand von acht Kriterien verglichen: Skalierungseinheit, Kapazität, Retention, Reihenfolge, Zustellung, Consumer, Record-Größe und Einsatzumgebung. Die Angaben stammen aus der Dokumentation von AWS und Apache Kafka, Stand: 9. Oktober 2026. Außerdem erklärt die Seite, was die Kosten auf beiden Seiten treibt. AWS-Limits und Kafka-Standardwerte ändern sich, prüfen Sie sie daher, bevor Sie einen Stream dimensionieren.

Häufig gestellte Fragen

Ist Kinesis dasselbe wie Kafka?

Nein. Beide sind partitionierte, geordnete, erneut abspielbare Logs, aber Kinesis Data Streams ist ein AWS-Service mit eigener API und Kafka ist Open-Source-Software mit eigenem Protokoll; Clients des einen können sich nicht mit dem anderen verbinden. Amazon MSK ist das Managed Kafka von AWS und ein von Kinesis getrennter Service.

Wie lang ist die maximale Retention in Kinesis Data Streams?

8.760 Stunden, also 365 Tage. Standard sind 24 Stunden; geändert wird die Retention mit IncreaseStreamRetentionPeriod oder DecreaseStreamRetentionPeriod. Speicher über 24 Stunden hinaus wird separat berechnet.

Ist Kinesis günstiger als Kafka?

Das hängt von Volumen, Fan-out und Retention ab. Kinesis On-demand hat keine ungenutzte Infrastruktur, daher sind kleine oder stoßweise Streams dort oft günstiger. Gleichmäßig hoher Durchsatz, den viele Consumer lesen, oder über Monate gespeicherte Daten sind auf Kafka-Brokern meist günstiger – auch wenn man die Betriebskosten einrechnet.

Kinesis oder Amazon MSK auf AWS – was sollte ich nutzen?

Kinesis, wenn die Pipeline durchgängig AWS-nativ ist und Sie keine Broker möchten. MSK, wenn Sie Kafka Connect, mehr Consumer als Enhanced Fan-out zulässt, Compaction oder längere Retention benötigen oder sich einen späteren Weg aus AWS offenhalten wollen.

Kostenlose Beratung

Lassen Sie Experten auf Ihre Kafka-Cluster-Umgebung schauen

Ob Sie einen Produktionsvorfall beheben, eine Migration planen oder eine zweite Meinung zu Ihrer Architektur wünschen – unser Team steht bereit. Kein Verkaufsgespräch, nur Antworten.

E-Mail schreiben