Présentation
Une plateforme de traitement de transactions au service de clients bancaires a activé Kafka et vu son débit chuter d'un facteur sept environ. Ajouter des instances de service ne changeait rien : les performances restaient stables quel que soit leur nombre, signe caractéristique d'un goulot d'étranglement plutôt que d'une limite de capacité. En raison d'une échéance de validation, la plateforme devait démontrer 80 000 transactions par heure en moins d'une semaine.
Défi
Des performances constantes malgré un parallélisme croissant désignaient la configuration plutôt que le matériel. Le déploiement tournait sous Kafka 4.0 avec KRaft, ce qui supprimait la dépendance à ZooKeeper mais modifiait aussi les leviers de réglage par rapport aux recommandations que la plupart des équipes ont assimilées. La reprise après basculement devait tenir quel que soit le changement, puisqu'il s'agissait d'une charge financière.
Environnement
Kafka 4.0 en mode KRaft, socle d'une plateforme de traitement de transactions pour des clients bancaires, avec JMeter pour la validation sous charge.
Approche
Le travail a d'abord consisté à comprendre pourquoi l'ajout d'instances n'apportait aucun gain, puis à valider chaque modification à l'aide d'un profil de charge JMeter reproductible, afin que l'amélioration soit mesurée et non supposée. Le comportement en cas de basculement a été traité comme une contrainte du réglage, et non après coup.
Solution
- Mise en place d'un profil de charge reproductible dans JMeter pour mesurer chaque modification de configuration par rapport à la même référence
- Analyse des raisons pour lesquelles l'augmentation du nombre d'instances de service produisait un débit constant, afin d'isoler le point de sérialisation
- Réglage de la configuration des producteurs et des brokers pour le profil transactionnel plutôt que pour un débit généraliste
- Validation de la reprise après basculement sous charge, pour ne pas sacrifier la résilience à la vitesse
- Revue de la configuration propre à KRaft au regard de recommandations rédigées pour des déploiements de l'ère ZooKeeper
Résultat obtenu
La plateforme disposait d'une trajectoire mesurée pour revenir vers son objectif de débit, avec une reprise après basculement intacte, ainsi que d'un profil de test de charge réutilisable pour les futures modifications.