Auf dieser Seite
Die kurze Antwort
Die kurze Antwort
Wählen Sie Kinesis Data Streams, wenn der Workload vollständig in AWS läuft, niemand Broker betreiben möchte und die Consumer AWS-Services wie Lambda, Amazon Data Firehose oder Amazon Managed Service for Apache Flink sind. Wählen Sie Kafka, selbst betrieben oder auf Amazon MSK, wenn Sie Retention über 365 Tage, Log Compaction, Exactly-once-Verarbeitung zwischen Topics, Kafka Connect, viele unabhängige Consumer oder ein Protokoll benötigen, das auch außerhalb von AWS läuft. Bei den Kosten entscheiden Volumen und Fan-out: Kinesis rechnet nach Shards oder bewegten Daten ab, Kafka nach den Brokern und dem Speicher, die Sie dauerhaft betreiben.
Amazon Kinesis Data Streams und Apache Kafka nach denselben Kriterien
| Amazon Kinesis Data Streams | Apache Kafka (selbst betrieben oder Amazon MSK) | |
|---|---|---|
| Skalierungseinheit | Shard: 1 MB/s oder 1.000 Records/s eingehend, 2 MB/s ausgehend | Partition: begrenzt durch die Broker-Hardware, kein festes Kontingent |
| Kapazität | On-demand Standard, On-demand Advantage oder provisionierte Shards | Selbst dimensionierte Broker, MSK Standard- oder Express-Broker oder MSK Serverless |
| Retention | Standardmäßig 24 Stunden, bis zu 365 Tage | Standardmäßig 7 Tage; nach Zeit, Größe oder unbegrenzt; Log Compaction |
| Reihenfolge | Innerhalb eines Shards; Partition Key wird per Hash einem Shard zugeordnet | Innerhalb einer Partition; gleicher Key, gleiche Partition |
| Zustellung | At-least-once; Retries erzeugen Duplikate | At-least-once; idempotenter Producer und Transaktionen für Exactly-once |
| Consumer | 2 MB/s pro Shard geteilt oder Enhanced Fan-out pro Consumer (20 bzw. 50 mit On-demand Advantage) | Beliebig viele Consumer Groups; Share Groups für Queue-artiges Lesen |
| Record-Größe | Bis zu 10 MiB | Standardmäßig etwa 1 MB, konfigurierbar |
| Läuft auf | Nur AWS | In jeder Cloud, im Rechenzentrum oder auf Kubernetes |
So funktioniert Kinesis Data Streams
Ein Kinesis-Stream besteht aus einer Menge von Shards. Jeder Record trägt einen Partition Key, den Kinesis per MD5 hasht, um einen Shard auszuwählen, und erhält beim Schreiben eine Sequenznummer. Im provisionierten Modus nimmt ein Shard bis zu 1 MB/s oder 1.000 Records/s an und liefert 2 MB/s an Leser; die Größe ändern Sie mit UpdateShardCount oder durch Aufteilen und Zusammenführen von Shards. On-demand Standard erspart diese Rechnerei: Ein neuer Stream startet mit 4 MB/s Schreibkapazität und verkraftet bis zum Doppelten seiner Spitzenlast der letzten 30 Tage. Verkehr, der sich innerhalb von 15 Minuten mehr als verdoppelt, wird jedoch gedrosselt. Bei On-demand Advantage, einer Einstellung auf Kontoebene, entfällt die Gebühr pro Stream, und Pre-Warming vor einem Event ist möglich – im Gegenzug verpflichten Sie sich zu mindestens 25 MiB/s bei Ingest und Abruf.
Die Retention beträgt standardmäßig 24 Stunden und lässt sich auf 8.760 Stunden, also 365 Tage, erhöhen. Eine Grenze überrascht viele Teams: Der On-demand-Modus teilt ausgelastete Shards, kann aber keinen Hot Partition Key isolieren. Ein einzelner Key über 1 MB/s oder 1.000 Records/s wird daher in jedem Modus gedrosselt.
So funktionieren Kafka und Amazon MSK
Ein Kafka-Topic ist in Partitionen aufgeteilt, die über Broker verteilt sind – jede ein replizierter Log auf Festplatte. Die Retention gilt pro Topic, beträgt standardmäßig sieben Tage und lässt sich nach Zeit, Größe oder unbegrenzt festlegen. Log Compaction, für die Kinesis kein Gegenstück hat, bewahrt für jeden Key dauerhaft den neuesten Wert. Ein kompaktiertes Topic kann so als Source of Truth für Changelogs und den Wiederaufbau von State dienen. Idempotente Producer und Transaktionen ermöglichen Exactly-once-Verarbeitung zwischen Topics.
Amazon MSK betreibt Open-Source-Kafka in Ihrem AWS-Konto, mit Standard- oder Express-Brokern oder als MSK Serverless. Bestehende Clients, Connectors und Tools funktionieren unverändert. AWS unterstützt den Service; Partitionen, Consumer Groups und Connectors bleiben jedoch Ihre Aufgabe, wie Managed-Kafka-Optionen im Vergleich darlegt.
Reihenfolge, Zustellung und Consumer
Beide ordnen Records nur innerhalb eines Shards bzw. einer Partition. Der Key bestimmt also, was in Reihenfolge bleibt, und beide stellen at-least-once zu. AWS dokumentiert Duplikate durch Producer-Retries sowie durch Consumer, die nach einem Ausfall oder Rebalance am letzten Checkpoint neu starten, und empfiehlt einen eindeutigen Key in jedem Record zur Deduplizierung. Kafka entfernt Producer-seitige Duplikate selbst und kann konsumierte Offsets und produzierte Records in einer Transaktion committen.
Beim Konsumieren unterscheiden sich beide am stärksten. Die 2 MB/s und fünf GetRecords-Aufrufe pro Sekunde eines Kinesis-Shards teilen sich alle Standard-Consumer. AWS empfiehlt daher Enhanced Fan-out, sobald mehr als eine Consumer-Anwendung liest: Jeder registrierte Consumer erhält eigene 2 MB/s pro Shard, bis zur Obergrenze pro Stream. KCL-Anwendungen speichern Leases und Checkpoints in einer DynamoDB-Tabelle – eine weitere Ressource, die dimensioniert werden muss. Lambda liest jeden Shard der Reihe nach und stoppt auf diesem Shard, wenn die Funktion einen Fehler zurückgibt. Ein fehlerhafter Record blockiert also alles dahinter. Kafka-Consumer-Groups speichern Offsets in Kafka, beliebig viele Groups können ein Topic lesen, und Share Groups – seit Kafka 4.2 produktionsreif – ergänzen Queue-artiges Konsumieren mit Acknowledgement (Ack) pro Record.
Ökosystem und Portabilität
Kinesis ist nativ in Lambda, Amazon Data Firehose, Managed Service for Apache Flink, EventBridge und Glue integriert. Sind alle Producer und Consumer AWS-Services, ist das der wichtigste Grund für Kinesis. Kafka bringt Kafka Connect, Kafka Streams, Schema Registries und Clients für die meisten Sprachen mit; sein Protokoll sprechen auch MSK, Confluent Cloud, Azure Event Hubs und Redpanda. Eine gegen Kafka entwickelte Anwendung kann zwischen diesen wechseln – eine gegen die Kinesis-API entwickelte bleibt auf AWS.
Was die Kosten treibt
Die Tarife variieren je Region. Vergleichen Sie deshalb die Abrechnungsgrößen auf der Preisseite von Kinesis Data Streams statt eines genannten Preises. Provisioned berechnet Shard-Stunden, PUT-Payload-Einheiten in 25-KB-Blöcken pro Record, Retention über 24 Stunden sowie Enhanced Fan-out pro Consumer-Shard-Stunde und pro GB. On-demand Standard berechnet pro geschriebenem GB (jeder Record auf 1 KB aufgerundet), pro gelesenem GB und pro Stream-Stunde, zuzüglich Retention und Fan-out. On-demand Advantage verzichtet im Gegenzug für die Mindestverpflichtung auf die Stream-Stunden-Gebühr und den Fan-out-Aufschlag.
Die Kafka-Rechnung folgt der Infrastruktur. Provisionierte MSK-Cluster berechnen Broker-Stunden und Speicher, zuzüglich einer Gebühr pro GB für Daten, die auf Express-Broker geschrieben werden, und berechnen keine Replikation zwischen Brokern. Selbst betriebenes Kafka auf EC2 zahlt für Traffic zwischen Availability Zones (AZ) und – meist der größte Posten – für die Engineers, die es betreiben. Kleine, schwankende oder Single-Consumer-Streams sprechen eher für Kinesis On-demand; gleichmäßig hoher Durchsatz, viele Consumer oder lange Retention eher für Kafka.
Wann Sie was wählen sollten
- Läuft etwas außerhalb von AWS, oder könnte der Workload umziehen? Kafka.
- Benötigen Sie Retention über 365 Tage, Compaction oder Exactly-once zwischen Topics? Kafka.
- Werden viele unabhängige Anwendungen denselben Stream lesen? Kafka, ohne Obergrenze pro Consumer.
- Ist alles AWS, mit Lambda, Firehose oder Flink als Consumer und niemandem, der Broker betreibt? Kinesis.
Der Wechsel von Kinesis zu Kafka bedeutet vor allem, die Consumer neu zu schreiben, da DynamoDB-Checkpoints nicht übertragbar sind: Schalten Sie an einer bekannten Position um und betreiben Sie beide parallel, bis die Ergebnisse übereinstimmen.
So haben wir verglichen
Wir haben Amazon Kinesis Data Streams und Apache Kafka – selbst betrieben oder auf Amazon MSK – anhand von acht Kriterien verglichen: Skalierungseinheit, Kapazität, Retention, Reihenfolge, Zustellung, Consumer, Record-Größe und Einsatzumgebung. Die Angaben stammen aus der Dokumentation von AWS und Apache Kafka, Stand: 9. Oktober 2026. Außerdem erklärt die Seite, was die Kosten auf beiden Seiten treibt. AWS-Limits und Kafka-Standardwerte ändern sich, prüfen Sie sie daher, bevor Sie einen Stream dimensionieren.
Häufig gestellte Fragen
Ist Kinesis dasselbe wie Kafka?
Nein. Beide sind partitionierte, geordnete, erneut abspielbare Logs, aber Kinesis Data Streams ist ein AWS-Service mit eigener API und Kafka ist Open-Source-Software mit eigenem Protokoll; Clients des einen können sich nicht mit dem anderen verbinden. Amazon MSK ist das Managed Kafka von AWS und ein von Kinesis getrennter Service.
Wie lang ist die maximale Retention in Kinesis Data Streams?
8.760 Stunden, also 365 Tage. Standard sind 24 Stunden; geändert wird die Retention mit IncreaseStreamRetentionPeriod oder DecreaseStreamRetentionPeriod. Speicher über 24 Stunden hinaus wird separat berechnet.
Ist Kinesis günstiger als Kafka?
Das hängt von Volumen, Fan-out und Retention ab. Kinesis On-demand hat keine ungenutzte Infrastruktur, daher sind kleine oder stoßweise Streams dort oft günstiger. Gleichmäßig hoher Durchsatz, den viele Consumer lesen, oder über Monate gespeicherte Daten sind auf Kafka-Brokern meist günstiger – auch wenn man die Betriebskosten einrechnet.
Kinesis oder Amazon MSK auf AWS – was sollte ich nutzen?
Kinesis, wenn die Pipeline durchgängig AWS-nativ ist und Sie keine Broker möchten. MSK, wenn Sie Kafka Connect, mehr Consumer als Enhanced Fan-out zulässt, Compaction oder längere Retention benötigen oder sich einen späteren Weg aus AWS offenhalten wollen.