Comparatif · Kafka

Kafka vs Kinesis : le comparatif

Amazon Kinesis Data Streams et Apache Kafka répondent au même besoin, un journal d'événements ordonné et rejouable, mais avec des modèles d'exploitation très différents. Kinesis est une API AWS dont la capacité se facture en shards ou au volume de données. Kafka est un logiciel open source que vous exploitez vous-même ou que vous louez sous forme de service managé, comme Amazon MSK. Cette page les compare à partir de la documentation AWS et Apache Kafka, vérifiée le 9 octobre 2026.

Tyler Eastridge

Par Tyler Eastridge, Directeur des opérations

LinkedIn · Mis à jour le · Lecture : 7 min · 7 sections

Sur cette page

En bref

En bref

Choisissez Kinesis Data Streams lorsque la charge de travail reste entièrement dans AWS, que personne ne veut exploiter de brokers et que les consommateurs sont des services AWS tels que Lambda, Amazon Data Firehose ou Amazon Managed Service for Apache Flink. Choisissez Kafka, autogéré ou sur Amazon MSK, si vous avez besoin d'une rétention au-delà de 365 jours, de la compaction des logs, du traitement exactly-once entre topics, de Kafka Connect, de nombreux consommateurs indépendants, ou d'un protocole qui fonctionne aussi hors d'AWS. Le point d'équilibre des coûts dépend du volume et du fan-out : Kinesis facture les shards ou les données déplacées, Kafka les brokers et le stockage que vous maintenez en fonctionnement.

Amazon Kinesis Data Streams et Apache Kafka, sur les mêmes critères

Amazon Kinesis Data Streams et Apache Kafka, sur les mêmes critères
Amazon Kinesis Data StreamsApache Kafka (autogéré ou Amazon MSK)
Unité de mise à l'échelleShard : 1 Mo/s ou 1 000 enregistrements/s en entrée, 2 Mo/s en sortiePartition : limitée par le matériel des brokers, sans quota fixe
CapacitéOn-demand Standard, On-demand Advantage, ou shards provisionnésBrokers que vous dimensionnez, brokers MSK Standard ou Express, ou MSK Serverless
Rétention24 heures par défaut, jusqu'à 365 jours7 jours par défaut ; par durée, par taille ou illimitée ; compaction des logs
OrdreAu sein d'un shard ; la clé de partition est hachée vers un shardAu sein d'une partition ; même clé, même partition
LivraisonAt least once ; les nouvelles tentatives créent des doublonsAt least once ; producteur idempotent et transactions pour l'exactly-once
Consommateurs2 Mo/s par shard partagés, ou fan-out amélioré par consommateur (20, ou 50 avec On-demand Advantage)Nombre illimité de consumer groups ; share groups pour une lecture de type file d'attente
Taille d'un enregistrementJusqu'à 10 MiBEnviron 1 Mo par défaut, configurable
S'exécute surAWS uniquementN'importe quel cloud, datacenter ou Kubernetes
Tableau · Amazon Kinesis Data Streams et Apache Kafka, sur les mêmes critères. Faites défiler horizontalement sur petit écran.

Comment fonctionne Kinesis Data Streams

Un stream Kinesis est un ensemble de shards. Chaque enregistrement porte une clé de partition, que Kinesis hache avec MD5 pour choisir un shard, et reçoit un numéro de séquence à l'écriture. En mode provisionné, un shard accepte jusqu'à 1 Mo/s ou 1 000 enregistrements/s et délivre 2 Mo/s aux lecteurs ; vous le redimensionnez avec UpdateShardCount ou en scindant et en fusionnant des shards. On-demand Standard supprime ce calcul : un nouveau stream démarre à 4 Mo/s de capacité d'écriture et absorbe jusqu'au double de son pic des 30 derniers jours, mais un trafic qui plus que double en 15 minutes est limité. On-demand Advantage, un paramètre au niveau du compte, supprime la facturation par stream et permet un préchauffage avant un événement, en contrepartie d'un engagement d'au moins 25 MiB/s d'ingestion et de lecture.

La rétention est de 24 heures par défaut et peut être portée à 8 760 heures, soit 365 jours. Une limite piège souvent les équipes : le mode on-demand scinde les shards très sollicités mais ne peut pas isoler une clé de partition chaude ; une clé unique au-delà de 1 Mo/s ou 1 000 enregistrements/s est donc limitée quel que soit le mode.

Comment fonctionnent Kafka et Amazon MSK

Un topic Kafka est découpé en partitions réparties sur les brokers, chacune étant un journal répliqué sur disque. La rétention se règle par topic, sept jours par défaut, et peut être définie par durée, par taille ou en illimité. La compaction des logs, sans équivalent dans Kinesis, conserve indéfiniment la dernière valeur de chaque clé : un topic compacté peut ainsi servir de source de vérité pour les changelogs et la reconstruction d'état. Les producteurs idempotents et les transactions offrent un traitement exactly-once entre topics.

Amazon MSK exécute Kafka open source dans votre compte AWS, avec des brokers Standard ou Express, ou MSK Serverless. Les clients, connecteurs et outils existants fonctionnent sans modification. AWS assure le support du service ; les partitions, les consumer groups et les connecteurs restent à votre charge, comme le détaille le comparatif des options de Kafka managé.

Ordre, livraison et consommateurs

Les deux ne garantissent l'ordre qu'au sein d'un shard ou d'une partition : c'est donc la clé qui détermine ce qui reste en séquence, et les deux livrent en at least once. AWS documente des doublons dus aux nouvelles tentatives des producteurs et aux consommateurs qui reprennent au dernier checkpoint après une panne ou un rééquilibrage, et recommande d'inclure une clé unique dans chaque enregistrement pour la déduplication. Kafka élimine lui-même les doublons côté producteur et peut valider dans une seule transaction les offsets consommés et les enregistrements produits.

C'est sur la consommation que les différences sont les plus marquées. Les 2 Mo/s et les cinq appels GetRecords par seconde d'un shard Kinesis sont partagés entre tous les consommateurs standard ; AWS recommande donc le fan-out amélioré dès qu'il y a plus d'une application consommatrice : chaque consommateur enregistré obtient ses propres 2 Mo/s par shard, dans la limite du plafond par stream. Les applications KCL conservent leurs baux et leurs checkpoints dans une table DynamoDB, une ressource de plus à dimensionner. Lambda lit chaque shard dans l'ordre et s'arrête sur ce shard lorsque la fonction renvoie une erreur : un seul enregistrement défectueux bloque donc tout ce qui le suit. Dans Kafka, les consumer groups stockent leurs offsets dans Kafka, un nombre quelconque de groupes peut lire un topic, et les share groups, prêts pour la production depuis Kafka 4.2, ajoutent une consommation de type file d'attente avec acquittement par enregistrement.

Objectifs de réponse à partir de 15 minutes, selon le plan. Ingénieurs seniors attitrés.

Nous contacter

Écosystème et portabilité

Kinesis s'intègre nativement avec Lambda, Amazon Data Firehose, Managed Service for Apache Flink, EventBridge et Glue ; si tous les producteurs et consommateurs sont des services AWS, c'est la principale raison de le choisir. Kafka apporte Kafka Connect, Kafka Streams, des registres de schémas et des clients dans la plupart des langages, et son protocole est aussi parlé par MSK, Confluent Cloud, Azure Event Hubs et Redpanda. Une application écrite pour Kafka peut passer de l'un à l'autre ; une application écrite pour l'API Kinesis reste sur AWS.

Ce qui détermine la facture

Les tarifs varient selon la région : comparez les compteurs sur la page des tarifs de Kinesis Data Streams plutôt que de vous fier à un prix cité. Le mode provisionné facture les heures de shard, les unités de charge utile PUT comptées par tranches de 25 Ko par enregistrement, la rétention au-delà de 24 heures, et le fan-out amélioré par heure de consommateur-shard et par Go. On-demand Standard facture par Go écrit, chaque enregistrement étant arrondi à 1 Ko supérieur, par Go lu, par heure de stream, plus la rétention et le fan-out. On-demand Advantage supprime la facturation à l'heure de stream et la surcharge du fan-out en échange de son engagement minimal.

La facture Kafka suit l'infrastructure. Les clusters MSK provisionnés facturent les heures de broker et le stockage, plus des frais par Go pour les données écrites sur les brokers Express, et ne facturent pas la réplication entre brokers ; Kafka autogéré sur EC2 paie le trafic entre zones de disponibilité et, c'est généralement le premier poste, les ingénieurs qui l'exploitent. Les streams petits, irréguliers ou à consommateur unique tendent à favoriser Kinesis on-demand ; un débit élevé et constant, de nombreux consommateurs ou une longue rétention tendent à favoriser Kafka.

Lequel choisir, et quand

  1. Une partie de la charge tourne-t-elle hors d'AWS, ou pourrait-elle migrer ? Kafka.
  2. Avez-vous besoin d'une rétention au-delà de 365 jours, de la compaction ou de l'exactly-once entre topics ? Kafka.
  3. De nombreuses applications indépendantes liront-elles le même stream ? Kafka, sans plafond par consommateur.
  4. Tout reste-t-il dans AWS, avec Lambda, Firehose ou Flink comme consommateurs et personne pour exploiter des brokers ? Kinesis.

Passer de Kinesis à Kafka revient surtout à réécrire les consommateurs, puisque les checkpoints DynamoDB ne sont pas transposables : basculez à une position connue et faites tourner les deux en parallèle jusqu'à ce que les sorties concordent.

Notre méthode de comparaison

Nous avons comparé Amazon Kinesis Data Streams et Apache Kafka, autogéré ou sur Amazon MSK, selon huit critères : unité de mise à l'échelle, capacité, rétention, ordre, livraison, consommateurs, taille des enregistrements et environnement d'exécution. Les chiffres proviennent de la documentation AWS et Apache Kafka, vérifiée le 9 octobre 2026. La page explique aussi ce qui détermine chaque facture. Les limites AWS et les valeurs par défaut de Kafka évoluent : vérifiez-les avant de dimensionner un stream.

Questions fréquentes

Kinesis et Kafka, est-ce la même chose ?

Non. Ce sont tous deux des journaux partitionnés, ordonnés et rejouables, mais Kinesis Data Streams est un service AWS doté de sa propre API, alors que Kafka est un logiciel open source doté de son propre protocole ; les clients de l'un ne peuvent pas se connecter à l'autre. Amazon MSK est le Kafka managé d'AWS, un service distinct de Kinesis.

Quelle est la rétention maximale dans Kinesis Data Streams ?

8 760 heures, soit 365 jours. La valeur par défaut est de 24 heures, modifiable avec IncreaseStreamRetentionPeriod ou DecreaseStreamRetentionPeriod, et le stockage au-delà de 24 heures est facturé à part.

Kinesis est-il moins cher que Kafka ?

Cela dépend du volume, du fan-out et de la rétention. Kinesis on-demand n'a pas d'infrastructure inactive : les streams petits ou en rafales y coûtent donc souvent moins cher. Un débit élevé et constant lu par de nombreux consommateurs, ou des données conservées pendant des mois, coûte généralement moins cher sur des brokers Kafka, une fois le coût de leur exploitation pris en compte.

Faut-il choisir Kinesis ou Amazon MSK sur AWS ?

Kinesis si le pipeline est 100 % AWS et que vous ne voulez aucun broker. MSK si vous avez besoin de Kafka Connect, de plus de consommateurs que le fan-out amélioré n'en permet, de la compaction ou d'une rétention plus longue, ou d'une porte de sortie d'AWS plus tard.

Consultation gratuite

Un regard expert sur votre cluster Kafka

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire