Retour à tous les cas d'usage

SupportLogiciels / plateformes numériques

Ajouter des nœuds n'avait rien réglé

Hébergeur européen

Un cluster Kafka de cinq nœuds au service de 60 000 clients voyait ses producteurs tomber en timeout sous charge. La cause était la topologie, pas la capacité.

Présentation

Un hébergeur exploitant environ 2 000 serveurs pour 60 000 clients avait fait passer son déploiement Kafka d'un nœud à cinq au fil de la croissance de la demande, et constatait toujours de fréquents timeouts côté producteurs. Le réflexe consistant à ajouter de la capacité avait déjà été essayé.

Défi

Le cluster fonctionnait avec un facteur de réplication de quatre sur cinq nœuds, brokers et contrôleurs étant colocalisés. Le contrôleur leader supportait donc un nombre inhabituellement élevé de connexions actives en plus de ses tâches de réplication, et c'est cette concentration de connexions, plutôt que le débit brut, qui provoquait les timeouts. S'ensuivaient des réélections et des déplacements de topics, interprétés comme de l'instabilité plutôt que comme un symptôme de la même cause.

Environnement

Cluster Kafka de cinq nœuds déployé via Docker sur des serveurs physiques, au service d'un vaste parc d'hébergement mutualisé.

Approche

AceMQ a confronté les choix de réplication et de topologie aux besoins réels de la charge, plutôt que de contourner le symptôme par des réglages. Les recommandations ont été séquencées pour que chacune puisse être validée sur les métriques de stabilité du cluster avant d'appliquer la suivante.

Solution

  1. Réduction du facteur de réplication de quatre à trois, conforme aux exigences de durabilité sans surrépliquer chaque partition
  2. Séparation des rôles de broker et de contrôleur, pour que le travail du contrôleur ne concurrence plus le service du trafic
  3. Maintien d'au moins trois nœuds brokers pour préserver les garanties de disponibilité pendant le changement
  4. Réglage des paramètres de threads pour améliorer la réactivité sous la charge de connexions
  5. Choix de la fréquence des réélections et des déplacements de topics comme métriques à surveiller pour valider chaque étape

Résultat obtenu

Les timeouts des producteurs ont été traités à la source au lieu d'être masqués par un ajout de capacité, et l'équipe dispose d'un ensemble clair de signaux pour détecter tôt toute récidive.

Technologies

Apache KafkaDockerLinux

Besoin d'un support Apache Kafka expert ?

Les ingénieurs Apache Kafka seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.