Kafka

Qu'est-ce qui provoque réellement un timeout de producteur Kafka, et comment le corriger ?

Scott Sternloff

Par Scott Sternloff, Architecte d’entreprise senior

LinkedIn · Mis à jour le

PRODUCERproducer-1CONTROLLERleaderBROKER 2BROKER 3TIMEOUTController/Broker Contention
Sur cette page

org.apache.kafka.common.errors.TimeoutException: Expiring N record(s) est l'une des erreurs de production Kafka les plus fréquentes, et l'une des plus souvent mal diagnostiquées. Les équipes se tournent volontiers vers des changements de configuration côté producteur (augmenter request.timeout.ms, relever retries) alors que la cause réelle se situe côté broker, plus précisément dans la répartition des rôles de contrôleur et de broker au sein du cluster.

Cet article retrace un cas de diagnostic réel : un cluster Kafka physique de cinq nœuds subissant de fréquents timeouts de producteur, la cause racine identifiée et le correctif exact appliqué.

Quelle est la cause réelle la plus fréquente des timeouts de producteur Kafka ?

La contention entre les rôles de contrôleur et de broker sur les mêmes nœuds.

Dans un cluster en mode KRaft (l'architecture de Kafka après ZooKeeper), chaque nœud peut être configuré pour assurer à la fois les rôles de broker et de contrôleur, ou ces rôles peuvent être séparés sur des nœuds dédiés. Lorsque tous les nœuds assurent les deux rôles, ce qui est courant dans les clusters de petite taille ou qui ont grandi au fil de l'eau, les processus contrôleur et broker se disputent en permanence le même CPU et la même mémoire sur chaque nœud.

Dans un cas réel, un cluster Kafka de cinq nœuds, tous configurés en broker+contrôleur combinés, subissait des timeouts de producteur liés précisément au nœud contrôleur leader, qui accumulait un nombre excessif de connexions actives et créait ainsi une contention au niveau du broker. Comme l'a diagnostiqué directement l'expert Kafka d'AceMQ : « En ce moment, comme vos brokers… comme vous l'avez dit, avec les contrôleurs et les brokers sur la même machine physique, ils se disputent en permanence la mémoire et le CPU, et cela crée de la latence sur la journalisation. Cela pose des problèmes pour les métadonnées qu'ils doivent manipuler, parce qu'ils sont en concurrence pour se mettre à jour mutuellement. Séparez-les. »

Comment savoir si mon facteur de réplication contribue au problème ?

Vérifiez que votre facteur de réplication est proportionné à la taille de votre cluster et à vos besoins réels de durabilité : la sur-réplication crée une surcharge réelle et mesurable.

Dans ce même cas, le cluster tournait avec un facteur de réplication de 4 sur un cluster physique de 5 nœuds. Le constat direct : « Un facteur de réplication de 4 est excessif pour un cluster physique de 5 nœuds : c'est un niveau de redondance élevé, mais qui a un coût important, surtout avec la répartition de vos topics sur les cinq nœuds. Je le ramènerais sans hésiter à trois, surtout avec le volume que vous avez. »

Pourquoi le facteur de réplication compte pour les timeouts de producteur : chaque message produit doit être acquitté par le nombre requis de réplicas in-sync (défini par vos paramètres acks et min.insync.replicas) avant que le producteur reçoive sa confirmation. Un facteur de réplication plus élevé signifie que davantage de réplicas doivent écrire et acquitter avant le retour de cette confirmation, et si ces écritures sont en concurrence avec la contention CPU/mémoire du rôle contrôleur sur les mêmes nœuds, la combinaison se traduit par des timeouts visibles côté producteur.

Règle empirique : un facteur de réplication de 3 est la référence standard de durabilité pour Kafka en production. Passer à 4 ou plus doit être une décision délibérée, fondée sur des exigences de durabilité démontrées, et non un réglage par défaut.

Faut-il séparer mes contrôleurs Kafka de mes brokers ?

Oui, si vous exploitez des rôles combinés et rencontrez des problèmes de latence ou de timeout côté producteur : c'est l'un des changements d'architecture les plus efficaces.

La recommandation directe issue de ce même cas : « Pour l'instant, comme c'est de la production… ajoutez peut-être un autre contrôleur, placez le contrôleur à part, et gardez au moins 3 nœuds côté brokers. » Cela n'exige pas de reconstruire tout le cluster : il s'agit d'ajouter un ou plusieurs nœuds contrôleurs dédiés et de reconfigurer les nœuds existants en broker uniquement, ce qui réduit la contention CPU/mémoire sur chaque nœud du cluster.

Chemin de migration pratique :

  1. Provisionnez un nouveau nœud (ou réaffectez un nœud existant) comme contrôleur dédié
  2. Reconfigurez les nœuds restants en broker uniquement
  3. Conservez au moins 3 nœuds brokers pour la durabilité en production
  4. Validez la santé du cluster et le comportement des réélections avant de déclarer la migration terminée

Quels autres changements de configuration réduisent les timeouts de producteur ?

Deux leviers de tuning supplémentaires faisaient partie du même correctif réel :

Augmenter le paramètre de threads d'E/S de Kafka. La recommandation précise consistait à prendre la valeur actuelle (num.io.threads ou la configuration équivalente des threads réseau/E/S) et à la doubler, ce qui traite directement les goulets d'étranglement de débit sous charge sans changement d'architecture.

Surveiller les réélections de leaders et le volume des réaffectations de partitions. Des réélections fréquentes de contrôleur ou des changements de leadership imprévus bloquent le trafic des producteurs pendant que le cluster se réorganise. Comme le disait le diagnostic : « Regardez ces deux-là : elles vous donneront une bonne idée de l'instabilité, de leur comportement, et de savoir s'ils doivent faire des réélections, s'ils doivent sans cesse tout déplacer. Parce que quand ils déplacent, tout s'arrête : cela ralentit ces topics. » Suivre en continu le taux d'élection de leaders et la fréquence des réaffectations de partitions (et pas seulement pendant un incident) vous fournit un système d'alerte précoce si le même schéma de contention réapparaît.

Cela signifie-t-il que mon timeout de producteur n'est jamais un problème de configuration du producteur ?

Non : la configuration côté producteur peut tout à fait être la cause racine, et il vaut la peine de l'écarter ou de la confirmer rapidement :

  • request.timeout.ms réglé trop bas par rapport aux caractéristiques réelles de votre réseau et des temps de réponse des brokers
  • max.in.flight.requests.per.connection combiné aux retries, qui provoque des problèmes de réordonnancement des messages se traduisant par des timeouts apparents
  • batch.size et linger.ms mal configurés pour votre profil de débit, qui amènent le producteur à retenir les messages plus longtemps que prévu avant l'envoi
  • Une mémoire tampon insuffisante côté producteur (buffer.memory), qui provoque une BufferExhaustedException interprétée à tort comme un timeout

La discipline de diagnostic qui compte ici : vérifiez d'abord la santé côté broker et la séparation contrôleur/broker, car c'est la cause racine la plus fréquente dans les déploiements réels, avant de passer du temps à régler une configuration client du producteur qui n'est peut-être pas le véritable goulet d'étranglement.

Objectifs de réponse à partir de 15 minutes, selon le plan. Ingénieurs seniors attitrés.

Nous contacter

Et les changements SSL/TLS : peuvent-ils être à l'origine de mes timeouts ?

Si vous êtes en pleine mise à niveau ou si vous avez récemment modifié votre configuration TLS et que les timeouts sont apparus ensuite, ne supposez pas que TLS n'y est pour rien, mais ne supposez pas non plus que c'est la cause principale si une contention contrôleur/broker reste non résolue.

Dans ce même cas, le client avait récemment tenté un changement de certificat SSL qui avait échoué et nécessité un retour arrière, et signalait par ailleurs des timeouts de producteur. La recommandation était explicite sur l'ordre des opérations : traiter d'abord le facteur de réplication et la séparation contrôleur/broker. « Ne regardez pas le SSL pour l'instant… ramenez la réplication à trois, ajoutez les brokers et séparez-les, puis voyez comment ça se comporte… Je n'essaierais pas de toucher au TLS/SSL avant d'être passé à Kafka 4. » Stabilisez l'architecture de base du cluster avant d'ajouter d'autres changements, comme la rotation des certificats, sur un cluster déjà sous tension.

Est-ce un problème à corriger soi-même, ou faut-il une revue experte ?

Le schéma de diagnostic présenté ici (facteur de réplication, topologie contrôleur/broker, configuration des threads et fréquence des réélections) est à la portée d'une équipe ayant une solide expérience de l'exploitation de Kafka. Mais la raison pour laquelle ce cas a été escaladé vers une revue experte est courante : les symptômes (des timeouts de producteur) ne désignent pas de façon évidente la cause (une contention contrôleur/broker) sans une expérience du diagnostic au niveau du cluster acquise sur de nombreuses topologies Kafka différentes.

Si vous constatez des timeouts de producteur et avez déjà écarté les problèmes réseau évidents, le chemin le plus rapide vers la cause racine est généralement une revue structurée de la topologie des rôles de votre cluster, de la configuration de réplication et des métriques de réélection, et non un réglage incrémental des paramètres du client producteur, un paramètre à la fois.

Se faire accompagner sur les timeouts de producteur Kafka

Vous subissez des timeouts de producteur Kafka en production ? Contactez AceMQ pour une revue de l'architecture de votre cluster : nous identifierons s'il s'agit d'une contention sur les contrôleurs, d'une surcharge de réplication ou de tout autre chose. Vous ne savez pas par où commencer ? Parlez à un ingénieur AceMQ.

Il s'agit de la cinquième des dix étapes du guide d'exploitation de Kafka, qui aborde les décisions opérationnelles dans l'ordre où elles se présentent sur un parc en production.

Questions fréquentes

Quelle est la cause réelle la plus fréquente des timeouts de producteur Kafka ?

La contention entre les rôles de contrôleur et de broker sur les mêmes nœuds physiques. Dans les clusters en mode KRaft où les rôles broker et contrôleur sont combinés, le nœud contrôleur leader peut accumuler un nombre excessif de connexions et disputer le CPU et la mémoire au processus broker, ce qui génère une latence qui se manifeste par des timeouts côté producteur plutôt que par une erreur évidente du broker.

Comment savoir si mon facteur de réplication contribue aux timeouts de producteur ?

Vérifiez que le facteur de réplication est proportionné à la taille du cluster : un facteur de 4 sur un cluster de 5 nœuds représente une redondance excessive qui ajoute une vraie surcharge. Chaque message produit doit être acquitté par le nombre requis de réplicas in-sync avant que le producteur reçoive sa confirmation : un facteur de réplication plus élevé, combiné à une contention sur les contrôleurs, se traduit alors par des timeouts. Un facteur de réplication de 3 est la référence standard en production.

Faut-il séparer mes contrôleurs Kafka de mes brokers ?

Oui, si vous exploitez des rôles contrôleur et broker combinés et constatez de la latence ou des timeouts côté producteur : c'est l'un des correctifs les plus efficaces. Provisionnez un nœud contrôleur dédié, reconfigurez les nœuds existants en broker uniquement, et conservez au moins 3 nœuds brokers pour la durabilité en production.

Quels autres changements de configuration aident à réduire les timeouts de producteur Kafka ?

Doubler le paramètre actuel de threads d'E/S (num.io.threads ou équivalent) traite directement les goulets d'étranglement de débit. Par ailleurs, surveillez en continu la fréquence des réélections de leaders et le volume des réaffectations de partitions : des réélections fréquentes bloquent le trafic des producteurs chaque fois que le cluster se réorganise.

Un timeout de producteur Kafka est-il parfois vraiment un problème de configuration du producteur ?

Oui : un request.timeout.ms trop bas, max.in.flight.requests.per.connection combiné aux retries, un batch.size/linger.ms mal configuré et un buffer.memory insuffisant peuvent tous provoquer des timeouts ou se faire passer pour tels. Vérifiez d'abord la santé côté broker et la séparation contrôleur/broker, car c'est la cause racine la plus fréquente dans les déploiements réels.

Un changement SSL/TLS récent peut-il être à l'origine de mes timeouts de producteur Kafka ?

C'est possible, mais ne supposez pas que c'est la cause principale si vous avez une contention contrôleur/broker non résolue ou un facteur de réplication surdimensionné. Stabilisez d'abord l'architecture de base du cluster (facteur de réplication et séparation des rôles) avant d'ajouter des changements TLS/SSL sur un cluster déjà sous tension.

Faut-il diagnostiquer soi-même les timeouts de producteur Kafka ou faire appel à un expert ?

Le facteur de réplication, la topologie contrôleur/broker, la configuration des threads et la fréquence des réélections sont à la portée d'équipes ayant une solide expérience de l'exploitation de Kafka. Une revue experte est utile parce que le symptôme (des timeouts de producteur) désigne rarement de façon évidente la cause (une contention sur les contrôleurs) sans une expérience de diagnostic acquise sur de nombreuses topologies de clusters.

Consultation gratuite

Un regard expert sur votre cluster Kafka

Que vous deviez résoudre un incident de production, planifier une migration ou obtenir un second avis sur votre architecture, notre équipe est prête. Pas d’argumentaire commercial, seulement des réponses.

Nous écrire