Sur cette page
Un rééquilibrage Kafka (rebalance) est le processus de redistribution des partitions entre les consommateurs d'un groupe. Il se déclenche chaque fois que la composition du groupe change (un consommateur arrive, part ou est déclaré mort) ou lorsque le nombre de partitions d'un topic auquel le groupe est abonné change. Un groupe sain se rééquilibre de temps en temps et brièvement. Un groupe qui se rééquilibre toutes les quelques minutes a un problème de configuration, et les pauses qui en résultent sont généralement prises à tort pour un problème de broker ou de débit.
Le rééquilibrage Kafka n'est pas une panne en soi. C'est ainsi qu'Apache Kafka distribue les partitions aux consommateurs et répartit équitablement le travail à mesure qu'un déploiement monte en charge. Il est important de comprendre son fonctionnement, car les problèmes surviennent lorsqu'il se déclenche bien plus souvent que la charge de travail ne le justifie.
Le mécanisme mérite d'être compris, car presque toutes les corrections consistent à modifier la configuration des consommateurs plutôt qu'à intervenir sur le cluster.
Qu'est-ce qui déclenche un rééquilibrage Kafka ?
Quatre choses, et seules les deux premières sont intentionnelles.
Un nouveau consommateur rejoint le groupe. Une montée en charge, ou un pod qui démarre après un déploiement. C'est attendu : lorsqu'un nouveau consommateur rejoint le groupe, le coordinateur répartit les partitions entre les consommateurs déjà actifs et le nouveau venu.
Un consommateur quitte proprement le groupe. Un arrêt maîtrisé qui envoie une demande de départ. C'est également attendu. Chaque arrivée ou départ d'un consommateur entraîne une redistribution.
Un consommateur est déclaré mort. C'est là que se trouvent les ennuis. Le coordinateur du groupe lance un rééquilibrage dès qu'il estime qu'un consommateur a disparu, ce qui se produit lorsque l'une de ces deux horloges expire :
session.timeout.ms(45 secondes par défaut). Le consommateur envoie des heartbeats depuis un thread d'arrière-plan toutes lesheartbeat.interval.ms(3 secondes par défaut). Si trop de heartbeats manquent, le coordinateur vous évince. Ce mécanisme détecte les vrais plantages, les partitions réseau et les longues pauses GC.max.poll.interval.ms(5 minutes par défaut). L'intervalle entre deux appels successifs àpoll()sur le thread principal. Les heartbeats continuent de circuler sur le thread d'arrière-plan, si bien que le consommateur paraît vivant ; mais si l'application met trop de temps à traiter un lot, le coordinateur l'évince quand même.
C'est cette seconde horloge qui provoque la plupart des rééquilibrages inexpliqués en production. Le consommateur n'a pas planté. Il traite simplement lentement, et Kafka ne sait pas distinguer un consommateur lent d'un consommateur bloqué.
Le nombre de partitions change. Lorsque de nouvelles partitions sont ajoutées à un topic Kafka, une réaffectation s'ensuit. Les modifications d'abonnement ont le même effet.
Les deux derniers sont des rééquilibrages dont vous vous passeriez volontiers. Un rééquilibrage Kafka coûte la même chose quelle qu'en soit la cause, et ce sont les rééquilibrages inutiles qui transforment un groupe de consommateurs fonctionnel en groupe paralysé.
Que se passe-t-il réellement pendant un rééquilibrage Kafka ?
Tous les consommateurs du groupe cessent de consommer, doivent rejoindre à nouveau le groupe et attendre avant de pouvoir reprendre. Le leader du groupe (l'un des consommateurs, pas un broker Kafka) envoie une requête au coordinateur du groupe, calcule l'affectation des partitions et distribue le résultat. Les partitions sont d'abord révoquées, puis redistribuées, et le consommateur qui hérite de telle ou telle partition peut changer à chaque tour.
La propriété essentielle est qu'il s'agit d'une barrière de synchronisation : tous les consommateurs d'un groupe avancent ensemble, et le membre le plus lent impose le rythme. Si un consommateur met trente secondes à rejoindre le groupe, tout le groupe attend trente secondes. Aucun message n'est traité pendant le rééquilibrage : un retard s'accumule et le lag grimpe alors même que tous les brokers du cluster Kafka sont en bonne santé.
C'est pourquoi rééquilibrages et lag sont si souvent confondus. Si vous traquez un lag croissant plutôt que les rééquilibrages qui le provoquent, notre article sur le diagnostic du lag des consommateurs Kafka traite le versant symptômes.
Rééquilibrage eager ou coopératif
Le protocole de rééquilibrage de Kafka existe en deux générations, et celle que vous utilisez change énormément le coût de chaque rééquilibrage.
Le rééquilibrage eager est le comportement d'origine, qui arrête tout (stop-the-world). Chaque consommateur révoque toutes ses partitions affectées avant que la nouvelle affectation soit calculée. Même si la réaffectation ne déplace que deux partitions sur deux cents, tout s'arrête. La pause croît avec la taille du groupe et le temps de reconnexion, et non avec l'ampleur réelle du changement.
Le rééquilibrage incrémental ne révoque que les partitions qui bougent réellement. Les consommateurs continuent de traiter tout ce qu'ils conservent. Le protocole de rééquilibrage coopératif se déroule en deux tours plus légers au lieu d'un seul tour lourd : l'impact du rééquilibrage dépend donc de l'ampleur du changement et non du nombre de membres. Cette approche coopérative incrémentale est celle que la plupart des parcs devraient utiliser.
Elle est disponible depuis Kafka 2.4 et n'est pas toujours le comportement par défaut d'un client Kafka plus ancien. L'appartenance statique est arrivée un peu plus tôt, avec Kafka 2.3. Le changement tient en une ligne :
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignor⚠️ Ne vous contentez pas de définir ce paramètre puis de déployer. Passer d'eager à coopératif exige une mise à niveau progressive en deux phases : déployez d'abord avec les deux stratégies listées pour que le groupe puisse s'accorder, puis retirez la stratégie eager lors d'un second passage. Effectuer le changement en une seule étape sur un groupe actif fera échouer le rééquilibrage.
Les versions récentes vont encore plus loin. Le nouveau protocole de rééquilibrage des consommateurs déplace le calcul de l'affectation vers le broker et supprime complètement la barrière de synchronisation globale : les consommateurs ne s'arrêtent plus tous ensemble. Ce nouveau protocole est devenu disponible en version stable (GA) avec Apache Kafka 4.0. Si vous êtes sur une version récente, il mérite d'être évalué ; mais la plupart des parcs de production n'en sont pas encore là, et l'assignor sticky apporte aujourd'hui l'essentiel du bénéfice.
Stratégies d'affectation des partitions
| Assignor | Comportement | Coût du rééquilibrage |
|---|---|---|
RangeAssignor | Plages contiguës par topic | Eager ; répartition parfois inégale sur plusieurs topics |
RoundRobinAssignor | Répartition égale sur toutes les partitions | Eager ; tout est réaffecté |
StickyAssignor | Répartition égale, conserve l'affectation précédente lorsque c'est possible | Eager, mais déplace moins de partitions |
CooperativeStickyAssignor | Sticky, et ne révoque que ce qui bouge | Incrémental : celui qu'il vous faut |
La stabilité de l'affectation compte au-delà de la pause elle-même. Lorsqu'un consommateur conserve les mêmes partitions de topic d'un rééquilibrage à l'autre, il conserve un état local « chaud » : caches, agrégations en cours, state stores Kafka Streams. Un rebrassage inutile le jette, et le coût de reconstruction dépasse souvent celui du rééquilibrage lui-même.
Si vous utilisez Spring Kafka ou un autre framework d'encapsulation, ce réglage passe par la même propriété sous-jacente : le framework ne change pas les stratégies qui s'offrent à vous.
La tempête de rééquilibrages Kafka : pourquoi elle ne se résorbe jamais
Les problèmes de rééquilibrage pour lesquels on fait appel à nous suivent presque toujours le même schéma :
- Le traitement ralentit : une API en aval se dégrade, ou un lot grossit.
- Un consommateur dépasse
max.poll.interval.mset est évincé. - Le groupe se rééquilibre. Tout le monde s'arrête.
- Le retard s'accumule pendant la pause.
- À la reprise, chaque consommateur récupère un lot complet face à un retard plus important et met plus longtemps à le traiter.
- Un autre consommateur dépasse l'intervalle. Retour à l'étape 3.
Le débit de traitement des données s'effondre alors que le cluster lui-même reste en bonne santé.
La situation ne se résorbe jamais d'elle-même, car chaque nouveau rééquilibrage Kafka rend le suivant plus probable. C'est précisément pour cela que les équipes se mettent à enquêter sur le cluster plutôt que sur la configuration de leurs consommateurs.
Briser la boucle revient généralement à faire en sorte que les lots se terminent dans l'intervalle imparti :
- Réduisez
max.poll.records. C'est le changement isolé le plus efficace. Moins d'enregistrements par poll, c'est moins de temps entre deux polls. Commencez par diviser la valeur par deux. - Augmentez
max.poll.interval.mspour qu'il dépasse réellement le temps de traitement dans le pire cas, et non le temps habituel. Mesurez le p99, ne l'estimez pas. - Sortez le travail lent du thread de poll. Si le traitement implique un appel réseau d'une durée imprévisible, la boucle de poll n'est pas le bon endroit pour le faire.
- N'augmentez pas
session.timeout.mspour régler ce problème. C'est une autre horloge et cela n'aidera pas : vous ne ferez que retarder la détection des consommateurs réellement morts.
Appartenance statique
Lorsque les consommateurs redémarrent régulièrement, à commencer par les déploiements progressifs sur Kubernetes, cette fonctionnalité évite que le redémarrage déclenche le moindre rééquilibrage.
Attribuez à chaque consommateur un group.instance.id stable. Lors d'un redémarrage dans la fenêtre de délai, le coordinateur reconnaît le membre qui revient et lui rend ses partitions précédentes sans rien redistribuer :
group.instance.id=consumer-3
session.timeout.ms=45000Le compromis est réel : un membre réellement mort n'est remplacé qu'à l'expiration de sa session, et ses partitions restent non consommées pendant cette fenêtre. Avant de l'activer, déterminez si un rééquilibrage est nécessaire au redémarrage. Réglez le délai pour qu'il dépasse confortablement la durée de votre redémarrage progressif, sans plus.
Il existe aussi un réglage côté broker utile au démarrage. group.initial.rebalance.delay.ms (3 secondes par défaut) fait patienter brièvement le coordinateur avant le premier rééquilibrage, afin que des consommateurs qui démarrent ensemble forment un seul groupe au lieu de se rééquilibrer à chaque arrivée. C'est un détail qui supprime beaucoup de bruit dans les déploiements Kubernetes.
Ce qu'il faut surveiller
Surveillez trois indicateurs, et surveillez-les ensemble :
- La fréquence des rééquilibrages. Le signal lui-même. Au-delà de l'occasionnel, il faut enquêter, et un consommateur pris dans une boucle de rééquilibrage apparaît ici en premier.
- La durée des rééquilibrages. Une durée croissante signifie que les consommateurs mettent du temps à rejoindre le groupe, souvent à cause du même traitement lent qui a déclenché le rééquilibrage.
- Le lag des consommateurs pendant les rééquilibrages. Il confirme si les pauses vous coûtent réellement du débit ou si elles sont assez courtes pour être sans conséquence.
Un groupe de consommateurs qui effectue un rééquilibrage Kafka quelques fois par jour, au moment des déploiements, se porte bien. Un groupe qui se rééquilibre toutes les quelques minutes vous signale que max.poll.interval.ms est dépassé, et aucun réglage du cluster n'y changera rien.
Vous constatez des tempêtes de rééquilibrages ou des pauses inexpliquées de vos consommateurs ? Elles se situent presque toujours dans la configuration
des consommateurs plutôt que dans le cluster, ce qui explique pourquoi les métriques des brokers semblent normales alors que le débit
s'effondre. AceMQ mène des évaluations Kafka structurées qui les mettent au jour :
Si une seule personne détient toutes ces connaissances, c'est un risque lié aux effectifs plutôt qu'un risque Kafka : ce que coûte réellement l'auto-support de Kafka.
Le rééquilibrage coopératif en pratique : le vérifier, y migrer, et ce que font Streams et Connect
Les assignors range, round-robin et le sticky d'origine utilisent tous le protocole eager. À chaque changement de composition, le coordinateur fait passer le groupe à l'état PreparingRebalance, chaque consommateur révoque toutes les partitions qu'il détient, tout le monde rejoint à nouveau le groupe, et le leader distribue une nouvelle affectation. Le groupe entier s'arrête le temps de cet aller-retour.
Kafka 2.4 a introduit le rééquilibrage coopératif pour les consommateurs. Avec le protocole coopératif incrémental, un rééquilibrage se déroule en deux phases. Dans la première, le leader calcule la nouvelle affectation et chaque consommateur ne révoque que les partitions qui le quittent, tout en continuant à faire des polls et des commits sur tout le reste. Un second rééquilibrage suit immédiatement, au cours duquel les partitions libérées sont attribuées à leurs nouveaux propriétaires. Le seul assignor côté client qui utilise ce protocole est CooperativeStickyAssignor.
La plupart des groupes pour lesquels on nous appelle fonctionnent en eager sans le savoir. Premier point, la configuration du consommateur : partition.assignment.strategy est une liste, et sur les clients récents la liste par défaut contient à la fois range et cooperative-sticky. Le coordinateur sélectionne une stratégie prise en charge par tous les membres, et c'est donc range qui l'emporte par défaut. Deuxième point, décrivez le groupe et regardez ce que le coordinateur a réellement sélectionné :
kafka-consumer-groups.sh --bootstrap-server broker:9092 \
--describe --group orders-svc --stateLa colonne ASSIGNMENT-STRATEGY indique range ou cooperative-sticky. Range signifie que chaque redémarrage arrête encore tout le groupe.
La migration d'un groupe actif demande deux redémarrages progressifs, et l'ordre compte. Lors du premier, définissez partition.assignment.strategy avec l'assignor eager actuel suivi de CooperativeStickyAssignor, en gardant l'assignor eager en premier pour qu'il reste sélectionné tant que des instances anciennes et nouvelles cohabitent. Lors du second, retirez l'assignor eager. Le faire en une seule étape échoue, car un membre qui rejoint le groupe en cours de redémarrage ne trouve aucune stratégie commune avec les autres et le rééquilibrage tombe en erreur.
Les applications Kafka Streams utilisent déjà le protocole coopératif via leur propre assignor : rien n'est à configurer de ce côté. Les workers Kafka Connect répartissent connecteurs et tâches avec un protocole coopératif incrémental distinct, piloté par connect.protocol, et la valeur par défaut l'active dès que tous les workers le prennent en charge.
Le compromis est mince. Un rééquilibrage coopératif prend un peu plus de temps de bout en bout, car il s'agit de deux rééquilibrages au lieu d'un, et les partitions qui changent de propriétaire restent non affectées pendant cette fenêtre. En contrepartie, les partitions qui ne bougent pas ne s'arrêtent jamais. Le nombre de partitions que vous choisissez limite le nombre de consommateurs qui peuvent se partager le travail ; nous le détaillons dans notre guide de stratégie de partitionnement.
Résoudre les boucles REBALANCE_IN_PROGRESS (« rejoin needed ») et PreparingRebalance
« The group is rebalancing, so a rejoin is needed » est le message associé au code d'erreur REBALANCE_IN_PROGRESS. Le coordinateur le renvoie à un consommateur dont la requête porte une génération qui n'est plus la génération courante, le plus souvent un heartbeat, une synchronisation ou un commit d'offset envoyé après le passage du groupe à l'état PreparingRebalance. En soi, ce n'est pas une panne : le client rejoint le groupe et celui-ci se stabilise. Cela devient un problème lorsque le message se répète toutes les quelques secondes, que le groupe n'atteint jamais l'état Stable et que le lag grimpe. Le broker coordinateur journalise une ligne correspondante « Preparing to rebalance group ... (reason: ...) », et ce champ reason est le moyen le plus rapide de savoir lequel des cas suivants se produit.
1. max.poll.interval.ms dépassé. Le consommateur est vivant, mais il a mis trop de temps entre deux polls et a donc été écarté. Pour le confirmer : les logs du consommateur indiquent « consumer poll timeout has expired » et la raison côté broker mentionne le départ d'un membre. Correction : réduisez max.poll.records jusqu'à ce que le traitement d'un lot dans le pire cas tienne dans l'intervalle, puis n'augmentez max.poll.interval.ms que si le p99 ne tient toujours pas.
2. session.timeout.ms trop bas pour les pauses GC ou le réseau. Le thread de heartbeat se bloque ou ses paquets sont retardés, et le membre est évincé. Pour le confirmer : la raison côté broker indique « heartbeat expiration », les logs GC montrent des pauses proches du délai, et aucun message de poll timeout n'apparaît. Correction : augmentez session.timeout.ms dans la limite de group.max.session.timeout.ms côté broker, et corrigez la cause des pauses. Les producteurs d'une même JVM présentent des symptômes voisins, traités dans causes et corrections des timeouts de producteur.
- 3. Des consommateurs qui montent et descendent en charge en boucle. Un autoscaler ajoute des réplicas quand le lag augmente, le lag baisse, il les retire, le lag remonte. Chaque événement de mise à l'échelle est un rééquilibrage. Pour le confirmer : décrire le groupe avec
--membersmontre un nombre de membres qui varie d'une minute à l'autre, en phase avec les événements de déploiement. Correction : ajoutez une fenêtre de stabilisation à la réduction d'échelle, plafonnez les réplicas au nombre de partitions, et basez la mise à l'échelle sur un signal plus lissé que le lag brut. La bonne façon de mesurer le lag est détaillée dans notre guide sur le lag des consommateurs. - 4. L'appartenance statique n'est pas utilisée. Sans
group.instance.id, un déploiement progressif de dix pods représente dix départs et dix arrivées. Avec, un pod qui revient dans le délai de session reprend son ancienne affectation sans rééquilibrage. Pour le confirmer :--members --verboseaffiche des identifiants de membres générés qui changent à chaque redémarrage. Correction : définissez un identifiant d'instance stable par pod. - 5. Changement de coordinateur ou de broker. La partition
__consumer_offsetsqui héberge le groupe a changé de broker, le groupe a été rechargé, et chaque membre a dû redécouvrir le coordinateur et rejoindre le groupe. Pour le confirmer : les logs du broker indiquent « Loading group metadata » sur un nouveau broker, et le moment coïncide avec un redémarrage ou une élection de leader. Correction : rien côté client. Un rééquilibrage par redémarrage de broker est normal ; des déplacements répétés du coordinateur signifient que le cluster lui-même est instable.
Les trois propriétés qui mettent fin à la plupart de ces boucles :
max.poll.records=100
group.instance.id=orders-svc-${POD_ORDINAL}
partition.assignment.strategy=org.apache.kafka.clients.consumer.CooperativeStickyAssignorNous appliquons ces corrections pour nos clients grands comptes dans le cadre du support Kafka 24/7, avec des objectifs de réponse à partir de 15 minutes, selon le plan, et nous concevons les groupes de cette façon dès le départ lors de nos missions de conseil Kafka.
Cet article est l'étape quatre sur dix du guide d'exploitation de Kafka, qui aborde les décisions opérationnelles dans l'ordre où elles se présentent sur un parc en production.
FAQ
Qu'est-ce qui déclenche un rééquilibrage d'un groupe de consommateurs Kafka ?
Un consommateur qui rejoint le groupe, qui le quitte proprement, ou qui est déclaré mort par le coordinateur du groupe, soit parce que ses heartbeats manquent au-delà de session.timeout.ms, soit parce qu'il dépasse max.poll.interval.ms entre deux polls. Une modification du nombre de partitions d'un topic auquel le groupe est abonné en déclenche également un.
Pourquoi le rééquilibrage provoque-t-il de la latence et un retard de traitement ?
Parce qu'il s'agit d'une barrière de synchronisation. Les consommateurs cessent de consommer pendant que le groupe se reforme et attend une nouvelle affectation : le membre le plus lent fixe donc la durée de la pause pour tous. Rien n'est traité pendant cette fenêtre et le lag s'accumule.
Qu'est-ce que le rééquilibrage coopératif dans Kafka ?
Un protocole incrémental qui ne révoque que les partitions qui changent réellement de main, ce qui permet aux consommateurs de continuer à traiter tout le reste. Le rééquilibrage eager révoque toutes les partitions de tous les consommateurs, aussi peu nombreuses que soient celles qui bougent.
Comment mettre fin aux rééquilibrages Kafka fréquents ?
Identifiez l'horloge qui expire. Si les lots prennent trop de temps, réduisez max.poll.records et portez max.poll.interval.ms au-delà du pire cas. Si ce sont les redémarrages, utilisez l'appartenance statique. Passez ensuite à l'assignor cooperative sticky pour rendre les rééquilibrages restants moins coûteux.
Qu'est-ce que l'appartenance statique à un groupe ?
Un group.instance.id stable par consommateur, qui permet au coordinateur de reconnaître un membre qui redémarre et de lui rendre ses partitions précédentes sans rééquilibrage, à condition qu'il revienne dans le délai de session.
Quelle stratégie d'affectation des partitions faut-il utiliser ?
CooperativeStickyAssignor pour la plupart des charges de travail : il minimise à la fois les déplacements de partitions et les perturbations liées aux rééquilibrages. Migrez-y en deux déploiements progressifs plutôt que de modifier le réglage en une seule étape.
L'ajout de partitions déclenche-t-il un rééquilibrage Kafka ?
Oui. Augmenter le nombre de partitions d'un topic auquel le groupe est abonné entraîne une réaffectation : traitez donc les modifications de partitions comme une opération planifiée, et non comme une opération courante.
Un rééquilibrage Kafka est-il la même chose qu'une réaffectation des partitions entre brokers ?
Non, et le vocabulaire commun prête réellement à confusion. Le rééquilibrage d'un groupe de consommateurs redistribue les partitions entre les consommateurs. Déplacer les réplicas de partitions entre brokers relève de la réaffectation de partitions (partition reassignment), une opération de cluster distincte, avec d'autres outils et d'autres risques.
Pourquoi mon groupe de consommateurs Kafka n'arrête-t-il pas de se rééquilibrer ?
D'après notre expérience, les causes sont, dans l'ordre : le traitement d'un lot de poll prend plus de temps que max.poll.interval.ms ; session.timeout.ms est trop court pour les pauses GC de la JVM ou pour le réseau ; un autoscaler ajoute et retire des consommateurs en boucle ; les consommateurs redémarrent sans group.instance.id, si bien que chaque déploiement équivaut à un départ suivi d'une arrivée ; ou le coordinateur du groupe a changé de broker. Le champ reason de la ligne de log « Preparing to rebalance group » sur le broker coordinateur vous indique laquelle. Décrivez le groupe avec --state pour voir s'il atteint un jour l'état Stable.
Comment éviter qu'un rééquilibrage Kafka provoque une interruption de service ?
Trois réglages suppriment l'essentiel du problème. Passez le groupe sur CooperativeStickyAssignor afin que seules les partitions déplacées soient mises en pause, en suivant la migration en deux redémarrages successifs. Donnez à chaque consommateur un group.instance.id stable afin que les redémarrages effectués dans le délai de session ne déclenchent aucun rééquilibrage. Plafonnez max.poll.records pour qu'un lot lent ne puisse pas faire évincer un consommateur sain. Ensuite, supprimez l'instabilité à la source : stabilisez l'autoscaling et maintenez le nombre de réplicas inférieur ou égal au nombre de partitions. Un groupe bien configuré ne devrait se rééquilibrer que lorsque vous modifiez délibérément sa taille.
Sources
Guides, comparatifs et études
Approfondir : Kafka
Guides
3Comparatifs
9- NATS vs Kafka en 2026 : comparatif Core NATS, JetStream et Kafka
- Mosquitto vs Kafka : broker MQTT ou journal d'événements ?
- Kafka vs Kinesis : le comparatif
- Meilleurs fournisseurs Kafka managé en 2026, au-delà des hyperscalers
- Kafka Bring Your Own Cloud (BYOC) : les offres comparées
- Alternatives à Confluent et concurrents après le rachat par IBM

