Présentation
Un hébergeur exploitant environ 2 000 serveurs pour 60 000 clients avait fait passer son déploiement Kafka d'un nœud à cinq au fil de la croissance de la demande, et constatait toujours de fréquents timeouts côté producteurs. Le réflexe consistant à ajouter de la capacité avait déjà été essayé.
Défi
Le cluster fonctionnait avec un facteur de réplication de quatre sur cinq nœuds, brokers et contrôleurs étant colocalisés. Le contrôleur leader supportait donc un nombre inhabituellement élevé de connexions actives en plus de ses tâches de réplication, et c'est cette concentration de connexions, plutôt que le débit brut, qui provoquait les timeouts. S'ensuivaient des réélections et des déplacements de topics, interprétés comme de l'instabilité plutôt que comme un symptôme de la même cause.
Environnement
Cluster Kafka de cinq nœuds déployé via Docker sur des serveurs physiques, au service d'un vaste parc d'hébergement mutualisé.
Approche
AceMQ a confronté les choix de réplication et de topologie aux besoins réels de la charge, plutôt que de contourner le symptôme par des réglages. Les recommandations ont été séquencées pour que chacune puisse être validée sur les métriques de stabilité du cluster avant d'appliquer la suivante.
Solution
- Réduction du facteur de réplication de quatre à trois, conforme aux exigences de durabilité sans surrépliquer chaque partition
- Séparation des rôles de broker et de contrôleur, pour que le travail du contrôleur ne concurrence plus le service du trafic
- Maintien d'au moins trois nœuds brokers pour préserver les garanties de disponibilité pendant le changement
- Réglage des paramètres de threads pour améliorer la réactivité sous la charge de connexions
- Choix de la fréquence des réélections et des déplacements de topics comme métriques à surveiller pour valider chaque étape
Résultat obtenu
Les timeouts des producteurs ont été traités à la source au lieu d'être masqués par un ajout de capacité, et l'équipe dispose d'un ensemble clair de signaux pour détecter tôt toute récidive.