Sur cette page
Apache Kafka sert à faire circuler des flux d'événements entre systèmes et à les conserver dans un log durable que de nombreuses applications peuvent lire indépendamment et rejouer. Les usages courants sont le streaming d'événements entre microservices, la messagerie, le suivi de l'activité d'un site web, l'agrégation de logs et de métriques, la CDC (capture des changements de données) depuis les bases de données avec Debezium, le traitement de flux, l'event sourcing, et l'alimentation des data lakes, des entrepôts de données et des pipelines IA. Leur point commun : lire un événement ne le supprime pas, c'est la rétention qui s'en charge. Un nouveau consommateur peut donc partir du début, et un consommateur défaillant peut revenir en arrière.
Cet article porte sur les usages. Pour la conception interne de Kafka (brokers, partitions, réplication et contrôleurs KRaft), consultez l'architecture de Kafka. Les informations ci-dessous concernent Apache Kafka 4.x ; la 4.3.0, sortie le 22 mai 2026, est la version fonctionnelle actuelle, et toutes les versions 4.x fonctionnent uniquement avec KRaft.
Ce qui rend un usage adapté à Kafka
Trois propriétés déterminent si un usage convient à Kafka :
- Un log conservé. Les événements restent disponibles pendant la période de rétention du topic, sept jours par défaut (
retention.ms=604800000), ou indéfiniment sur un topic compacté. Plusieurs consommateurs lisent les mêmes données à leur propre rythme. - Les partitions. Un topic est découpé en partitions qui répartissent la charge entre les brokers. L'ordre est garanti au sein d'une partition : les événements ayant la même clé, comme un identifiant de commande, restent dans l'ordre.
- Les consumer groups. Chaque groupe reçoit l'intégralité du flux et suit ses propres offsets : ajouter un nouveau lecteur n'affecte pas les existants. Au sein d'un groupe, chaque partition est attribuée à un seul consommateur.
Si un usage a besoin de ces trois propriétés, Kafka est un excellent choix. S'il a plutôt besoin de routage ou de délais par message, cherchez ailleurs.
Cas d'usage courants de Kafka
La documentation d'Apache Kafka cite la messagerie, le suivi d'activité, les métriques, l'agrégation de logs, le traitement de flux, l'event sourcing et les commit logs comme ses usages principaux. En pratique, cela donne ceci :
| Cas d'usage | Comment Kafka s'y prend | Le piège |
|---|---|---|
| Streaming d'événements entre microservices | Les services publient des événements métier, comme order-placed, dans des topics ; un nombre quelconque d'autres services s'y abonnent via leurs propres consumer groups. | Le topic devient un contrat partagé. Convenez d'un schéma et d'une règle de compatibilité avant que la deuxième équipe ne commence à consommer. |
| Messagerie entre services | Les producteurs écrivent avec acks=all ; les consommateurs valident leurs offsets après traitement. Depuis Kafka 4.2, les share groups (Queues for Kafka) sont prêts pour la production et permettent à plusieurs consommateurs de partager une partition avec acquittement par enregistrement. | Ni routage côté broker, ni priorités, ni délais par message. Le lag est l'indicateur de santé à surveiller ; voir le consumer lag Kafka. |
| Suivi de l'activité d'un site web | Le cas d'usage d'origine de Kafka : pages vues, recherches et clics publiés dans des topics, souvent un topic par type d'activité. | Le volume est élevé et les clés déséquilibrées. Un utilisateur ou une page très sollicités peuvent surcharger une partition ; voir la stratégie de partitionnement Kafka. |
| Agrégation de logs et de métriques | Les logs et métriques opérationnelles de nombreux hôtes sont écrits dans des topics, puis acheminés vers la recherche, le monitoring ou le stockage par des consommateurs ou des connecteurs sink Kafka Connect. | La rétention doit correspondre à l'espace disque. Le stockage hiérarchisé (tiered storage), prêt pour la production depuis Kafka 3.9, déplace les segments clos vers un stockage objet ; voir la politique de rétention Kafka. |
| CDC (capture des changements de données) avec Debezium | Les connecteurs source Debezium tournent sur Kafka Connect et lisent le log propre à la base de données, comme le binlog MySQL ou la réplication logique PostgreSQL, en écrivant par défaut les changements de chaque table dans son propre topic. | Sous PostgreSQL, le slot de réplication conserve le WAL jusqu'à confirmation par le connecteur : un connecteur arrêté ou en retard fait croître l'occupation disque de la base. Les changements de schéma et les snapshots doivent être planifiés ; voir le support Debezium. Si le CDC est votre seul usage de Kafka, comparez les alternatives à Debezium qui se passent de Kafka Connect. |
| Traitement de flux | Kafka Streams, une bibliothèque Java, lit des topics, les joint et les agrège, puis réécrit les résultats, avec un traitement exactly-once via processing.guarantee=exactly_once_v2. Flink est l'alternative courante. | Les state stores sont reconstruits à partir des topics changelog après un redémarrage, ce qui peut être long sur un état volumineux. Voir la sémantique exactly-once de Kafka. |
| Event sourcing et commit logs | Les changements d'état sont stockés sous forme de séquence d'enregistrements ordonnée dans le temps ; la compaction du log conserve la dernière valeur de chaque clé, ce qui permet à un service de reconstruire son état à partir du topic. | La compaction n'est pas instantanée, et la suppression d'une clé nécessite un enregistrement tombstone. Testez le temps de reconstruction avant de vous y fier. |
| Alimentation des data lakes, entrepôts de données et pipelines IA | Les connecteurs sink déversent les topics dans le stockage objet, les entrepôts de données et les index de recherche ; les mêmes événements peuvent alimenter des pipelines d'embeddings et des outils d'agents. | Chaque sink est un consumer group supplémentaire, avec ses propres modes de défaillance. Pour les charges de travail d'agents, voir Kafka pour les agents IA. |
Un point de départ durable
Un topic durable minimal pour n'importe lequel des usages ci-dessus, avec les outils fournis avec Kafka 4.x :
bin/kafka-topics.sh --bootstrap-server localhost:9092 \
--create --topic orders --partitions 12 --replication-factor 3 \
--config min.insync.replicas=2 --config retention.ms=604800000
# producer side
acks=all
enable.idempotence=trueUn facteur de réplication de 3 avec min.insync.replicas=2 et acks=all permet à un broker d'être indisponible tandis que les écritures se poursuivent sur deux copies. Choisissez le nombre de partitions avec soin : Kafka ne permet pas de le réduire ensuite, et ajouter des partitions modifie la partition à laquelle une clé est associée.
Quand Kafka n'est pas le bon outil
- Les petites files d'attente de tâches nécessitant routage, priorités ou délais par message. Les share groups apportent désormais à Kafka une consommation de type file d'attente, mais le routage et les nouvelles tentatives différées restent des fonctionnalités de broker propres à RabbitMQ. Voir RabbitMQ vs Kafka et à quoi sert RabbitMQ.
- Un faible volume avec une petite équipe. Un cluster de production implique des brokers, un quorum de trois ou cinq contrôleurs KRaft, du monitoring et des mises à niveau. À quelques messages par seconde, le coût d'exploitation dépasse généralement le bénéfice.
- Une base de données à interroger. Kafka lit par offset, pas par champ. Déversez les données dans une base de données ou un entrepôt de données et interrogez-les là.
- Le requête-réponse synchrone. Kafka peut le transporter, mais un appel HTTP ou gRPC est plus simple et plus rapide pour la plupart des services.
Les alternatives managées sont comparées dans Kafka vs Kinesis et NATS vs Kafka.
Exécuter ces cas d'usage sur Kafka 4.x
Kafka 4.0, sorti le 18 mars 2025, a supprimé ZooKeeper : les clusters encore sous ZooKeeper doivent migrer vers KRaft sur une version 3.x avant de pouvoir effectuer la mise à niveau. Notre guide sur la fin de vie (EOL) de Kafka présente les dates des versions et le chemin de mise à niveau. Si cette mise à niveau ne peut pas avoir lieu rapidement, OSSeva fournit un support étendu pour Apache Kafka 2.8 à 3.9 le temps de la planifier.
Quand faire appel à nous
La plupart des problèmes Kafka naissent d'une décision prise pour l'un des usages ci-dessus : un nombre de partitions choisi avant d'avoir compris la clé, une rétention dimensionnée selon les disques plutôt que selon le besoin, un connecteur Debezium laissé à l'arrêt pendant que le WAL s'accumule, ou un cluster utilisé comme file d'attente pour un travail qui nécessitait du routage. AceMQ propose un support Kafka indépendant pour Apache Kafka open source, avec des ingénieurs qui évaluent vos clusters au regard des usages qu'ils servent réellement et prennent l'appel lorsqu'ils dysfonctionnent, ainsi que des services managés Kafka si vous préférez confier l'exploitation au quotidien.
Références
- Documentation Apache Kafka 4.3 : cas d'usage
- Apache Kafka : introduction
- Apache Kafka : téléchargements (dates de sortie)
- Apache Kafka : annonce de la version 4.2.0 (share groups prêts pour la production)
- Apache Kafka : annonce de la version 3.9.0 (stockage hiérarchisé prêt pour la production)
- Documentation Apache Kafka 4.3 : configuration des topics (retention.ms)
- Documentation Apache Kafka 4.3 : configuration de Kafka Streams (processing.guarantee)
- Debezium : architecture
- Debezium : connecteur PostgreSQL (consommation d'espace disque par le WAL)
- OSSeva : support étendu Apache Kafka
Questions fréquentes
À quoi sert Kafka ?
À faire circuler des flux d'événements entre systèmes et à les conserver dans un log durable et rejouable : streaming d'événements entre microservices, messagerie, suivi de l'activité d'un site web, agrégation de logs et de métriques, CDC (capture des changements de données) avec Debezium, traitement de flux, event sourcing, et alimentation des data lakes et des pipelines IA.
Qu'est-ce qu'Apache Kafka, en termes simples ?
Un log distribué en ajout seul (append-only). Les producteurs écrivent des événements dans des topics, Kafka les stocke sur plusieurs serveurs pendant une période de rétention, et un nombre quelconque d'applications consommatrices les lisent à leur propre rythme, chacune suivant sa propre position.
Kafka est-il une file d'attente de messages ?
Pas au sens traditionnel. Kafka conserve les événements après leur lecture et répartit le travail par partition. Depuis Kafka 4.2, les share groups (Queues for Kafka) sont prêts pour la production et ajoutent une consommation de type file d'attente avec acquittement par enregistrement, mais il n'existe toujours ni routage côté broker, ni priorité, ni délai par message.
Kafka est-il une base de données ?
Non. Kafka stocke les données de manière durable et les topics compactés conservent la dernière valeur par clé, mais la lecture se fait par offset, pas par requête. La plupart des équipes déversent les données Kafka dans une base de données ou un entrepôt de données et les interrogent là.
Kafka a-t-il encore besoin de ZooKeeper ?
Non. Apache Kafka 4.0, sorti le 18 mars 2025, a supprimé ZooKeeper, et toutes les versions 4.x fonctionnent avec des contrôleurs KRaft. Les clusters encore sous ZooKeeper doivent migrer vers KRaft sur une version 3.x avant de passer à la 4.x.
Quand ne faut-il pas utiliser Kafka ?
Pour de petites files d'attente de tâches nécessitant routage, priorités ou délais par message, où RabbitMQ est mieux adapté ; pour de faibles volumes de messages, où le coût d'exploitation d'un cluster dépasse le bénéfice ; et comme base de données à interroger.
Guides, comparatifs et études
Approfondir : Kafka
Guides
3Comparatifs
9- NATS vs Kafka en 2026 : comparatif Core NATS, JetStream et Kafka
- Mosquitto vs Kafka : broker MQTT ou journal d'événements ?
- Kafka vs Kinesis : le comparatif
- Meilleurs fournisseurs Kafka managé en 2026, au-delà des hyperscalers
- Kafka Bring Your Own Cloud (BYOC) : les offres comparées
- Alternatives à Confluent et concurrents après le rachat par IBM

