Sur cette page
Kafka 4.0 représente le changement d'architecture le plus important de l'histoire du projet : ZooKeeper, le service de coordination externe sur lequel Kafka s'appuyait depuis ses toutes premières versions, a disparu. Les métadonnées du cluster et le consensus des contrôleurs sont désormais gérés en interne via KRaft (Kafka Raft), le protocole de consensus de Kafka basé sur Raft. C'est une véritable simplification du modèle opérationnel (un système distribué de moins à exploiter et à régler), mais « architecture majeure tout juste publiée » et « éprouvée pour votre charge spécifique » sont deux affirmations différentes.
Cet article décrit ce qui a concrètement changé sur le plan opérationnel, à partir d'un cas de production réel qui s'est heurté à un problème de performance important, précisément sur Kafka 4.0.0.
Le mode KRaft est-il stable en soi, ou s'agit-il encore d'une technologie précoce, voire bêta ?
Le mode KRaft est l'architecture standard de production de Kafka 4.0 : ce n'est plus, à ce stade, une fonctionnalité bêta ou en préversion. Des organisations le déploient activement en production, y compris pour des cas d'usage exigeants : une organisation a adopté Kafka 4.0.0 pour une plateforme de traitement de transactions du secteur bancaire, explicitement parce qu'il supprime la dépendance à ZooKeeper, en considérant cette simplification d'architecture comme un choix technologique délibéré et tourné vers l'avenir plutôt que comme un risque à éviter.
Cela dit, « l'architecture est de niveau production » et « chaque fonctionnalité se comporte exactement comme dans le modèle basé sur ZooKeeper » sont deux affirmations différentes, et le cas réel évoqué tout au long de cet article illustre précisément cet écart.
Qu'est-ce qui a réellement mal tourné dans le cas Kafka 4.0 évoqué ici ?
Une régression de performance importante et précise, liée aux transactions Kafka. Une organisation exploitant une plateforme de traitement de transactions sous Kafka 4.0.0, avec Spring Boot 3.2 et Java 17, avait auparavant mesuré un débit d'environ 320 000 transactions par heure avec la messagerie Kafka standard. Après l'ajout d'une capacité de reprise à son système, implémentée avec la fonctionnalité de messagerie transactionnelle de Kafka, le débit est tombé à 40 000-50 000 transactions par heure et, point crucial, augmenter le nombre d'instances du service ne l'a pas amélioré. Le système restait bloqué au même plafond de débit, quelle que soit la montée en charge horizontale, ce qui indique fortement un goulet d'étranglement structurel (probablement lié au coordinateur) plutôt qu'une simple contention de ressources.
Lorsque l'équipe a testé la même charge sans transactions Kafka, les performances sont revenues à la normale, ce qui a isolé la régression sur le chemin de la messagerie transactionnelle, et non sur le mode KRaft, la configuration des brokers ou le code applicatif de manière plus générale.
Cela signifie-t-il que les transactions Kafka sont défaillantes en mode KRaft ?
Pas forcément défaillantes, mais cela signifie que les transactions, en particulier, justifient une validation plus poussée avant de vous y engager pour une charge sensible aux performances, car le comportement du coordinateur de transactions sous KRaft est architecturalement différent de celui des clusters basés sur ZooKeeper, et cette différence peut se traduire précisément par ce type de plafond de débit avec certains schémas d'utilisation.
Ce que nous savons de ce cas :
- Le plafond de débit était reproductible et constant (et non intermittent)
- Il ne réagissait pas à la montée en charge horizontale, ce qui écarte un simple manque de ressources
- Supprimer les transactions de la même charge rétablissait un débit normal
Ce que cela suggère pour le diagnostic : le comportement du coordinateur de transactions (la façon dont l'état transactionnel est suivi, validé et coordonné dans le cluster) est un candidat sérieux au rôle de goulet d'étranglement, puisque c'est le composant le plus directement lié à la différence de comportement observée entre « transactions activées » et « transactions désactivées ». Une mission de diagnostic structurée sur ce type de problème examinerait en premier lieu le placement du coordinateur de transactions, la configuration du timeout des transactions, ainsi que la cardinalité et le partitionnement des transactional.id.
Faut-il éviter totalement les transactions Kafka en 4.0 ?
Pas forcément, mais validez votre usage transactionnel spécifique sous une charge réaliste avant de vous y engager pour une charge de production critique et sensible à la latence, au lieu de supposer que les recommandations générales sur les transactions Kafka issues de la documentation antérieure à la 4.0 restent valables telles quelles.
Si votre cas d'usage exige des transactions Kafka (sémantique exactly-once entre production et consommation, ou écritures atomiques sur plusieurs partitions) :
- Testez en charge le chemin transactionnel spécifiquement, séparément de votre référence de débit non transactionnel, avec un taux de transactions et un schéma de
transactional.idreprésentatifs - Vérifiez si la montée en charge horizontale de vos instances productrices et consommatrices améliore réellement le débit transactionnel dans votre environnement : si ce n'est pas le cas, c'est le même signal d'alerte que dans le cas ci-dessus, et il mérite d'être examiné avant le passage en production
- Consultez les notes de version et les problèmes connus actuels de Kafka 4.x concernant spécifiquement le comportement du coordinateur de transactions KRaft, car c'est une partie du code qui évolue activement depuis la suppression de ZooKeeper
Si votre cas d'usage n'exige pas strictement de transactions, évaluez si vos exigences de reprise et d'idempotence peuvent être satisfaites par d'autres approches (la seule configuration d'un producteur idempotent, sans transactions complètes, une déduplication au niveau applicatif ou une autre architecture de reprise) susceptibles d'éviter complètement le goulet d'étranglement observé ici.
Quelle approche de tests de charge valide réellement la maturité de Kafka 4.0 pour ma charge ?
Le cas réel évoqué tout au long de cet article a utilisé JMeter pour générer une charge stable et maîtrisée à un taux précis de transactions par seconde ou par minute, un choix délibéré parce qu'il offre une visibilité claire et contrôlable sur la façon dont le système réagit aux montées en charge, au lieu de s'appuyer sur des schémas de trafic de production plus difficiles à isoler et à reproduire à des fins de diagnostic.
Une approche de validation solide :
- Établissez d'abord une référence de débit non transactionnel, afin de disposer d'un point de comparaison propre
- Introduisez les transactions et mesurez l'écart de débit avec le même profil de charge
- Testez explicitement la montée en charge horizontale : ajoutez des instances productrices et consommatrices et vérifiez que le débit augmente réellement ; s'il plafonne, c'est le signal qu'il faut examiner les goulets d'étranglement au niveau du coordinateur avant d'aller plus loin
- Utilisez un outil de génération de charge qui permet de maintenir un taux de transactions stable et connu (JMeter, ou l'outil
kafka-producer-perf-test.shde Kafka pour la validation côté producteur) plutôt que de vous fier uniquement au trafic organique d'un lancement progressif
Quelle version de Kafka les organisations encore sur des clusters basés sur ZooKeeper doivent-elles viser ?
Si vous êtes actuellement sur une version antérieure à KRaft et que vous planifiez votre chemin de mise à niveau, sachez que Kafka 4.0 et les versions ultérieures fonctionnent sans ZooKeeper par conception : la prise en charge de ZooKeeper a été supprimée, et non simplement dépréciée, à partir de Kafka 4.0. Votre planification doit donc inclure une migration vers KRaft comme partie intégrante du chemin, et non comme une étape ultérieure facultative.
Pour les charges qui n'utilisent pas intensivement les transactions Kafka, cette migration est généralement moins risquée que le cas décrit dans cet article, puisque le goulet d'étranglement identifié ici était circonscrit au débit transactionnel, et non au fonctionnement général d'un cluster KRaft. Pour les charges riches en transactions, prévoyez explicitement du temps de tests de charge du chemin transactionnel dans votre plan de migration, en suivant l'approche de validation décrite ci-dessus, au lieu de supposer que les caractéristiques de performance des transactions d'avant KRaft restent inchangées.
Quel est le bilan réaliste sur la maturité de Kafka 4.0 en production ?
L'architecture KRaft de base est prête pour la production et elle est activement adoptée pour des charges exigeantes, y compris le traitement de transactions financières. Les transactions Kafka, en particulier, justifient une validation de charge dédiée avant de vous y engager pour une charge de production sensible aux performances, sur la base directe d'une régression de débit réelle et reproductible observée lors de tests en production. Ce n'est pas une raison d'éviter Kafka 4.0, mais une raison de tester délibérément votre usage spécifique au lieu de supposer une parité de comportement totale avec les versions de Kafka antérieures à KRaft sur toutes les fonctionnalités, transactions comprises.
Contrôleurs isolés ou mode combiné : ce que recommande l'upstream et ce que nous déployons
Un cluster KRaft conserve ses métadonnées dans un quorum Raft de nœuds contrôleurs au lieu de ZooKeeper. Le quorum élit un contrôleur actif, propriétaire du log de métadonnées : définitions des topics et des partitions, affectation des réplicas, élections de leaders, configurations, ACL. Chaque broker suit ce log et l'applique localement. Chaque nœud déclare son rôle via process.roles. Un nœud avec process.roles=controller se contente de voter et de servir les métadonnées. Un nœud avec process.roles=broker se contente de servir le trafic client et les données des partitions. Un nœud avec process.roles=broker,controller fait les deux dans la même JVM : c'est ce que l'upstream appelle le mode combiné.
La documentation upstream est claire sur ce qui a sa place en production. Les contrôleurs isolés sur leurs propres serveurs constituent l'architecture recommandée pour les charges de production. Le mode combiné est présenté comme adapté au développement, aux tests et aux petits clusters pour lesquels l'isolation des ressources n'est pas un enjeu. Il est pris en charge et il fonctionne, mais ce n'est pas l'architecture que l'upstream recommande pour les déploiements critiques, et notre expérience le confirme.
La raison en est le couplage des défaillances. En mode combiné, un broker sous pression d'E/S ou de garbage collection est aussi un contrôleur : un broker en difficulté ne se contente donc pas de perdre le leadership de ses partitions, il peut bloquer les votes du quorum et les commits de métadonnées pour tout le cluster. Le log de métadonnées doit exécuter un fsync à chaque commit et, en mode combiné, ce fsync entre en concurrence avec les écritures des logs de partitions sur les mêmes disques et le même page cache : un pic de trafic producteur peut ainsi ralentir le composant même qui coordonne le rétablissement. Le redémarrage progressif d'un broker est aussi celui d'un contrôleur, si bien que chaque mise à niveau de routine d'un broker ou chaque changement de configuration sollicite aussi une élection de contrôleur. Avec quelques brokers et un trafic léger, tout cela compte peu. Avec des milliers de partitions et des disques très sollicités, les incidents ordinaires de brokers deviennent des incidents de métadonnées à l'échelle du cluster. Isoler les rôles, c'est ce qui permet qu'un problème de broker reste un problème de broker.
Dimensionner des contrôleurs isolés est simple, car ils ne détiennent que des métadonnées, pas de données de partitions. Trois contrôleurs conviennent à la plupart des clusters et tolèrent la perte d'un nœud. Cinq se justifient pour les très grands parcs ou les déploiements multi-zones où vous voulez survivre à la perte d'une zone en plus d'une fenêtre de maintenance sur un autre nœud, au prix d'un quorum légèrement plus lent. De petites machines suffisent : quelques cœurs, quelques Go de heap et un disque modeste mais à faible latence pour le log de métadonnées. Placez un contrôleur par zone de disponibilité pour qu'une panne de zone ne puisse pas emporter le quorum. Sur Kubernetes, cela implique un node pool dédié aux contrôleurs, séparé de celui des brokers, ce que nous détaillons dans Kafka sur Kubernetes. Le placement du quorum fait aussi partie de toute conception sérieuse de reprise après sinistre Kafka, car un cluster qui a perdu son quorum de contrôleurs ne peut pas élire de leaders de partitions, même si tous les brokers sont en bonne santé.
La migration d'un cluster ZooKeeper existant suit un ordre fixe. Démarrez le nouveau quorum de contrôleurs avec zookeeper.metadata.migration.enable=true et la chaîne de connexion ZooKeeper, afin que les contrôleurs puissent lire les métadonnées existantes. Redémarrez ensuite les brokers un par un avec l'option de migration et les votants du quorum de contrôleurs configurés, ce qui fait passer le cluster en mode double écriture, où les métadonnées sont écrites à la fois dans ZooKeeper et dans le log KRaft. Une fois tous les brokers redémarrés et les métadonnées vérifiées, finalisez en retirant l'option de migration et la configuration ZooKeeper des contrôleurs, puis en les redémarrant. Jusque-là, un retour arrière vers ZooKeeper reste possible ; après la finalisation, il ne l'est plus. Kafka 4.0 ayant entièrement supprimé le mode ZooKeeper, toute cette procédure doit s'exécuter sur une version passerelle 3.9. Vous passez en 3.9, vous migrez, vous finalisez, et c'est seulement ensuite que vous passez en 4.x.
Notre règle pour les charges critiques est simple. Des contrôleurs isolés, trois nœuds, un par zone, sur des disques séparés de tout le reste. Le mode combiné uniquement lorsque le cluster compte moins d'une poignée de brokers et que la raison en est consignée par écrit. Lorsque nous reprenons un cluster qui tourne en mode combiné à grande échelle, séparer les rôles est généralement notre premier changement, avant la stratégie de partitionnement ou la capacité. Si vous souhaitez cette revue sur votre parc, notre équipe de conseil Kafka peut en définir le périmètre, et le support Kafka prend ensuite le cluster en charge avec une couverture 24/7 et des objectifs de réponse à partir de 15 minutes, selon le plan.
Se faire accompagner pour votre migration vers Kafka 4.0
Vous migrez vers Kafka 4.0, ou vous constatez un plafond de débit inexpliqué avec les transactions Kafka sur votre cluster KRaft ? Contactez AceMQ pour une mission de diagnostic. Vous ne savez pas par où commencer ? Parlez à un ingénieur AceMQ.
Il s'agit de la première des dix étapes du guide d'exploitation de Kafka, qui aborde les décisions opérationnelles dans l'ordre où elles se présentent sur un parc en production.
Questions fréquentes
Kafka recommande-t-il des contrôleurs KRaft isolés en production ?
Oui. La documentation upstream de Kafka recommande d'exécuter les contrôleurs sur des serveurs dédiés pour les charges de production et présente le mode combiné, où un nœud est à la fois broker et contrôleur, comme adapté au développement, aux tests et aux petits clusters pour lesquels l'isolation des ressources n'est pas un enjeu. Le mode combiné est pris en charge et fonctionne, mais un broker sous pression d'E/S ou de GC est alors aussi un contrôleur, et le redémarrage d'un broker est aussi celui d'un contrôleur. Pour toute charge critique, nous déployons des contrôleurs isolés sur leurs propres nœuds et disques, et nous traitons le mode combiné comme une exception documentée réservée aux très petits clusters.
Combien de contrôleurs KRaft un cluster de production doit-il avoir ?
Trois pour la plupart des clusters, cinq pour les parcs très volumineux ou multi-zones. Un quorum de trois nœuds tolère la perte d'un contrôleur, et un quorum de cinq en tolère deux, ce qui compte si vous voulez survivre à la panne d'une zone pendant qu'un autre contrôleur est en maintenance. Les contrôleurs ne détiennent que des métadonnées : de petits nœuds avec quelques cœurs, quelques Go de heap et un disque à faible latence suffisent. Placez un contrôleur par zone de disponibilité, gardez le log de métadonnées sur son propre disque et exécutez-les dans un node pool dédié sur Kubernetes. N'utilisez pas un nombre pair, et ne comptez pas les contrôleurs dans la capacité des brokers.
Le mode KRaft de Kafka 4.0 est-il assez stable pour la production ?
Oui : KRaft est l'architecture standard de production de Kafka 4.0, pas une fonctionnalité bêta. Des organisations le déploient activement pour des charges exigeantes, y compris le traitement de transactions dans le secteur bancaire, précisément parce qu'il supprime la dépendance à ZooKeeper.
Qu'est-ce qui a réellement mal tourné dans le cas de production Kafka 4.0 évoqué ici ?
Une plateforme de traitement de transactions sous Kafka 4.0.0 a vu son débit passer d'environ 320 000 à 40 000-50 000 transactions par heure après l'ajout de la messagerie transactionnelle Kafka pour la capacité de reprise. Augmenter le nombre d'instances du service n'a pas amélioré le débit, et la suppression des transactions a rétabli des performances normales, ce qui a permis d'isoler la régression sur le chemin transactionnel.
Les transactions Kafka sont-elles défaillantes en mode KRaft ?
Pas forcément défaillantes, mais elles justifient une validation plus poussée : le comportement du coordinateur de transactions sous KRaft est architecturalement différent de celui des clusters basés sur ZooKeeper. Le plafond de débit observé était reproductible, ne réagissait pas à la montée en charge horizontale et disparaissait lorsque les transactions étaient supprimées, ce qui désigne le comportement du coordinateur de transactions comme le goulet d'étranglement probable.
Faut-il éviter totalement les transactions Kafka en 4.0 ?
Pas forcément, mais validez votre usage transactionnel spécifique sous une charge réaliste avant de vous engager sur une charge critique en production. Si les transactions ne sont pas strictement nécessaires, envisagez la configuration d'un producteur idempotent ou une déduplication au niveau applicatif, des alternatives susceptibles d'éviter complètement ce goulet d'étranglement.
Comment tester Kafka 4.0 en charge avant le passage en production ?
Établissez d'abord une référence de débit non transactionnel, puis introduisez les transactions et mesurez l'écart avec le même profil de charge. Testez explicitement la montée en charge horizontale : si le débit plafonne au lieu d'augmenter, examinez les goulets d'étranglement au niveau du coordinateur. JMeter comme l'outil kafka-producer-perf-test.sh de Kafka conviennent bien pour générer une charge stable et maîtrisée.
Quelle version de Kafka viser si j'utilise encore des clusters basés sur ZooKeeper ?
Kafka 4.0 et les versions ultérieures fonctionnent sans ZooKeeper par conception (la prise en charge de ZooKeeper a été supprimée, et non simplement dépréciée, à partir de la 4.0) : la planification de la mise à niveau doit donc inclure une migration vers KRaft comme étape obligatoire, et non facultative. Les charges riches en transactions doivent prévoir explicitement du temps de tests de charge du chemin transactionnel dans le cadre de cette migration.
Quel est le bilan sur la maturité de Kafka 4.0 en production ?
L'architecture KRaft de base est prête pour la production et activement utilisée pour des charges exigeantes, y compris le traitement de transactions financières. Les transactions Kafka, en particulier, justifient une validation de charge dédiée avant de s'y engager pour un usage de production sensible aux performances, sur la base d'une régression de débit réelle et reproductible.