Sur cette page
L’architecture Kafka se compose d’un cluster de brokers qui stockent chaque topic sous forme d’un ensemble de logs partitionnés, répliqués et en ajout seul (append-only), d’un petit quorum de contrôleurs KRaft qui gère les métadonnées du cluster, et d’applications clientes qui écrivent et lisent directement dans ces partitions. Aucune couche de routage intermédiaire : un producteur envoie chaque enregistrement directement au broker leader de la partition cible, et les consommateurs viennent y lire. Depuis Apache Kafka 4.0, publié le 18 mars 2025, ZooKeeper a disparu et KRaft est le seul moyen de faire fonctionner le plan de contrôle.
Le schéma montre comment les éléments s’articulent ; les sections suivantes détaillent chacun d’eux et ce qui compte en production.
Schéma de l’architecture Kafka
Trois brokers hébergent un topic, orders, avec trois partitions de trois réplicas chacune. Chaque broker est leader d’une partition et follower des deux autres, trois contrôleurs KRaft détiennent les métadonnées, et le consumer group billing répartit les partitions entre ses deux membres.
Brokers, topics et partitions
Un broker est un serveur Kafka qui stocke les données et traite les requêtes des clients. Un topic est un flux d’événements nommé, comme payments ou orders, et chaque topic est découpé en partitions réparties entre les brokers. Chaque partition est un log ordonné en ajout seul (append-only) : les nouveaux événements s’ajoutent à la fin et reçoivent l’offset séquentiel suivant. Lire un événement ne le supprime pas ; c’est la rétention qui s’en charge, si bien que plusieurs applications peuvent lire les mêmes données à leur propre rythme.
L’ordre est garanti au sein d’une partition, pas à l’échelle d’un topic, et les événements portant la même clé vont toujours dans la même partition : c’est pourquoi un ID de commande ou de client sert généralement de clé. Le nombre de partitions plafonne aussi le parallélisme, car au sein d’un consumer group, chaque partition n’est lue que par un seul consommateur à la fois.
Choisissez ce nombre avec soin. Kafka ne permet pas de réduire le nombre de partitions d’un topic, et en ajouter plus tard modifie la partition associée à une clé donnée, ce qui casse l’ordre par clé pour les données déjà en transit. Consultez notre guide sur la stratégie de partitionnement Kafka.
Réplication, leaders et in-sync replica set
Chaque partition a un facteur de réplication. Un réplica est le leader et traite toutes les écritures ; les autres sont des followers qui copient le log du leader. Kafka suit les followers à jour dans l’in-sync replica set (ISR). Une écriture n’est considérée comme validée que lorsque tous les réplicas de l’ISR l’ont reçue, et seuls les membres de l’ISR peuvent devenir leader. Avec f+1 réplicas, un topic survit à f pannes de broker sans perte de données validées.
Trois paramètres déterminent ce que vaut réellement cette garantie :
- Facteur de réplication. Trois est la valeur courante en production.
ackscôté producteur. Avecacks=all, le producteur attend l’ISR complet. Avecacks=1, seul le leader détient l’enregistrement au moment où le producteur reçoit la confirmation de l’écriture.min.insync.replicassur le topic. Si l’ISR descend sous ce seuil, la partition rejette les écrituresacks=allplutôt que de les accepter sur trop peu de copies.
Un facteur de réplication de 3 avec min.insync.replicas=2 et acks=all constitue la base durable habituelle : un broker peut être arrêté pour maintenance et les écritures continuent sur deux copies. L’élection de leader « unclean », qui permet à un réplica désynchronisé de prendre le relais au prix d’une perte de données, est désactivée par défaut depuis Kafka 0.11.0.0.
Contrôleurs KRaft : le plan de contrôle sans ZooKeeper
Les brokers détiennent les données ; les contrôleurs, les métadonnées : quels topics existent, où se trouvent les réplicas de chaque partition, quel réplica est leader et qui fait partie de chaque ISR. En mode KRaft, les contrôleurs forment un quorum Raft et conservent cet état dans un log de métadonnées répliqué. L’un est actif ; les autres sont des nœuds de secours à chaud.
Le paramètre process.roles définit le rôle d’un nœud : broker, controller, ou les deux. La documentation Kafka ne recommande pas le mode combiné pour les déploiements critiques, car les contrôleurs ne peuvent alors pas être redémarrés ni dimensionnés indépendamment des brokers. Les clusters de production utilisent généralement trois ou cinq contrôleurs dédiés. Une majorité doit rester disponible : trois contrôleurs tolèrent une panne, cinq en tolèrent deux.
Kafka 4.0 a entièrement supprimé ZooKeeper : un cluster encore sous ZooKeeper doit donc migrer vers KRaft sur une version 3.x avant de pouvoir passer en 4.x. Les dates de support des versions et le chemin de mise à niveau figurent dans notre guide sur la fin de vie (EOL) de Kafka.
Producteurs, consommateurs et consumer groups
Un producteur demande les métadonnées à n’importe quel broker, identifie le leader de chaque partition et envoie ses lots directement aux leaders. La clé de l’enregistrement détermine la partition ; les enregistrements sans clé sont répartis entre les partitions. Le batching et la compression se font côté client.
Les consommateurs fonctionnent en pull. Chacun lit à partir d’un offset et valide sa position : l’état que Kafka conserve par partition pour un groupe se résume donc à un seul nombre. Les consommateurs partageant un même group.id forment un consumer group, et Kafka attribue chaque partition à un seul membre. Dans un groupe comptant plus de consommateurs que de partitions, les consommateurs en surnombre restent inactifs, et deux groupes distincts reçoivent chacun l’intégralité du flux.
Deux versions récentes ont changé la donne. Kafka 4.0 a rendu disponible en version stable le protocole de rééquilibrage nouvelle génération (KIP-848). Il est activé par défaut côté broker, et les clients l’adoptent via group.protocol=consumer ; il remplace les rééquilibrages « stop-the-world » à l’origine de nombreux incidents de consumer group. Kafka 4.2 a ensuite déclaré les share groups (KIP-932, Queues for Kafka) prêts pour la production. Un share group permet à plusieurs consommateurs de lire la même partition avec un acquittement par enregistrement, offrant un partage du travail de type file d’attente sur des topics ordinaires.
Stockage : segments de log, page cache et stockage hiérarchisé
Sur disque, une partition est un répertoire de fichiers de segments. Le segment actif reçoit les nouvelles écritures ; lorsqu’il atteint segment.bytes (1 Gio par défaut) ou sa limite de temps, il est fermé et un nouveau segment démarre. La rétention supprime des segments entiers, selon la durée (sept jours par défaut) ou la taille (désactivée par défaut), et un segment n’est supprimé que lorsque son enregistrement le plus récent a expiré. Notre guide sur la politique de rétention Kafka détaille ces paramètres.
Les lectures sont servies depuis le page cache, et les données passent du page cache au socket via l’appel système sendfile : des consommateurs qui suivent le rythme ne provoquent souvent aucune lecture disque. Ce chemin zero-copy n’est pas utilisé lorsque TLS est activé, car le chiffrement s’effectue en espace utilisateur.
Le stockage hiérarchisé (tiered storage), prêt pour la production depuis Kafka 3.9, ajoute un niveau distant. Les segments fermés sont copiés vers un stockage externe comme S3 ou HDFS, et local.retention.ms ou local.retention.bytes limite le volume conservé sur les disques des brokers. Il ne prend pas en charge les topics compactés.
Kafka Connect et Kafka Streams
Tous deux reposent sur les clients producteur et consommateur standard : ils héritent donc des mêmes règles en matière de partitions, de groupes et d’offsets.
- Kafka Connect s’exécute sur des serveurs workers distincts et transfère les données entre Kafka et d’autres systèmes : par exemple du CDC (capture des changements de données) d’une base relationnelle vers un topic, ou d’un topic vers un stockage objet ou un index de recherche.
- Kafka Streams est une bibliothèque Java qui s’exécute dans votre application. Elle lit des topics, les transforme, les joint et les agrège, puis écrit les résultats dans d’autres topics. Ses state stores locaux s’appuient sur des topics changelog dans Kafka, ce qui permet à une instance redémarrée de les reconstruire.
Comme il s’agit de clients, leurs défaillances se manifestent généralement comme des problèmes côté client : lag, rééquilibrages, ou tâche de connecteur bloquée sur un enregistrement défectueux.
À quoi sert Kafka, en bref
Kafka transporte et stocke des flux d’événements entre des systèmes qui ne doivent pas dépendre directement les uns des autres. Le projet Kafka recense ces usages principaux :
- Messagerie entre services, en remplacement d’un broker traditionnel pour un trafic durable à haut débit.
- Suivi de l’activité d’un site web, le cas d’usage d’origine de Kafka : pages vues, recherches et autres actions utilisateur publiées dans des topics.
- Agrégation de métriques et de logs provenant de nombreux hôtes vers des flux centralisés.
- Traitement de flux transformant des événements bruts en topics enrichis ou agrégés.
- Event sourcing et commit logs, où le topic constitue l’historique des changements d’état et où la compaction du log conserve la dernière valeur de chaque clé.
Concrètement : paiements, suivi des expéditions, données IoT et colonnes vertébrales événementielles de microservices. Kafka convient moins aux petites files de tâches qui exigent un routage par message, des priorités ou une livraison différée. C’est le terrain de RabbitMQ, et notre comparatif RabbitMQ vs Kafka précise où passe la frontière. Pour chaque cas d’usage et les écueils opérationnels associés, consultez à quoi sert Kafka.
Quand faire appel à nous
La plupart des incidents Kafka remontent à l’une des décisions décrites ci-dessus : un nombre de partitions choisi avant de bien comprendre la clé, min.insync.replicas laissé à 1, des contrôleurs partageant leurs hôtes avec des brokers très sollicités, ou une rétention dimensionnée sur des disques que le stockage hiérarchisé aurait pu soulager. Si vous souhaitez un deuxième avis sur un cluster existant, ou des ingénieurs d’astreinte quand il dysfonctionne, AceMQ propose un support Kafka indépendant pour Apache Kafka open source, ainsi que des services managés Kafka si vous préférez confier l’exploitation au quotidien.
Références
- Apache Kafka : introduction
- Documentation Apache Kafka 4.3 : cas d’usage
- Documentation Apache Kafka 4.3 : conception (réplication, ISR, consommateurs, sendfile)
- Documentation Apache Kafka 4.3 : implémentation du log (segments et suppression)
- Documentation Apache Kafka 4.3 : configuration des topics (segment.bytes, retention.ms)
- Documentation Apache Kafka 4.3 : opérations Kafka de base (modification des partitions)
- Documentation Apache Kafka 4.3 : KRaft
- Documentation Apache Kafka 4.3 : stockage hiérarchisé (tiered storage)
- Documentation Apache Kafka 4.3 : architecture de Kafka Streams
- Annonce de la version Apache Kafka 4.0.0, 18 mars 2025
- Annonce de la version Apache Kafka 4.2.0, 17 février 2026
- Annonce de la version Apache Kafka 3.9.0, 6 novembre 2024
Questions fréquentes
Quels sont les principaux composants de l’architecture Kafka ?
Des brokers qui stockent chaque topic sous forme de logs partitionnés et répliqués ; un quorum de contrôleurs KRaft qui gère les métadonnées du cluster ; des producteurs qui écrivent sur les leaders de partition ; et des consommateurs, organisés en consumer groups, qui lisent ces partitions. Kafka Connect et Kafka Streams reposent sur les mêmes clients.
Kafka utilise-t-il encore ZooKeeper ?
Non. Apache Kafka 4.0, publié le 18 mars 2025, est la première version majeure qui fonctionne entièrement sans ZooKeeper. Les métadonnées du cluster sont gérées par les contrôleurs KRaft. Un cluster encore sous ZooKeeper doit migrer vers KRaft sur une version 3.x avant de pouvoir passer en 4.x.
Combien de contrôleurs KRaft faut-il pour un cluster Kafka ?
Généralement trois ou cinq. Une majorité doit rester disponible : trois contrôleurs tolèrent une panne, cinq en tolèrent deux. La documentation Kafka ne recommande pas les nœuds combinant broker et contrôleur pour les déploiements critiques.
Qu’est-ce que l’ISR dans Kafka ?
L’in-sync replica set : les réplicas d’une partition qui sont à jour par rapport au leader. Une écriture est validée dès que tous les membres de l’ISR l’ont reçue, et seuls les membres de l’ISR peuvent être élus leader. Avec acks=all et min.insync.replicas défini sur le topic, une partition refuse les écritures lorsque trop peu de réplicas sont synchronisés.
À quoi sert Kafka ?
Transporter et stocker des flux d’événements entre systèmes : messagerie entre services, suivi de l’activité d’un site web, agrégation de métriques et de logs, traitement de flux, event sourcing et commit log. Concrètement : paiements, traitement des commandes, données IoT et de flottes, et colonne vertébrale événementielle des microservices.
Peut-on réduire le nombre de partitions d’un topic Kafka ?
Non. Kafka ne permet pas de réduire le nombre de partitions d’un topic. Vous pouvez ajouter des partitions, mais cela modifie la partition associée à chaque clé et affecte donc l’ordre par clé. Pour réduire le nombre de partitions, créez un nouveau topic et basculez-y producteurs et consommateurs.
Qu’est-ce que le stockage hiérarchisé (tiered storage) de Kafka ?
Une fonctionnalité prête pour la production depuis Kafka 3.9, qui copie les segments de log fermés vers un stockage externe comme S3 ou HDFS, afin que les brokers ne conservent sur disque local que les données récentes. Elle ne prend pas en charge les topics compactés.
Guides, comparatifs et études

