Retour à tous les cas d'usage

SupportServices financiers

Le débit a baissé quand la plateforme est montée en charge

Plateforme de transactions bancaires

Le débit est passé de 320 000 à environ 45 000 transactions par heure après l'introduction de Kafka. La plateforme devait atteindre 80 000 pour prouver sa capacité à monter en charge.

Présentation

Une plateforme de traitement de transactions au service de clients bancaires a activé Kafka et vu son débit chuter d'un facteur sept environ. Ajouter des instances de service ne changeait rien : les performances restaient stables quel que soit leur nombre, signe caractéristique d'un goulot d'étranglement plutôt que d'une limite de capacité. En raison d'une échéance de validation, la plateforme devait démontrer 80 000 transactions par heure en moins d'une semaine.

Défi

Des performances constantes malgré un parallélisme croissant désignaient la configuration plutôt que le matériel. Le déploiement tournait sous Kafka 4.0 avec KRaft, ce qui supprimait la dépendance à ZooKeeper mais modifiait aussi les leviers de réglage par rapport aux recommandations que la plupart des équipes ont assimilées. La reprise après basculement devait tenir quel que soit le changement, puisqu'il s'agissait d'une charge financière.

Environnement

Kafka 4.0 en mode KRaft, socle d'une plateforme de traitement de transactions pour des clients bancaires, avec JMeter pour la validation sous charge.

Approche

Le travail a d'abord consisté à comprendre pourquoi l'ajout d'instances n'apportait aucun gain, puis à valider chaque modification à l'aide d'un profil de charge JMeter reproductible, afin que l'amélioration soit mesurée et non supposée. Le comportement en cas de basculement a été traité comme une contrainte du réglage, et non après coup.

Solution

  1. Mise en place d'un profil de charge reproductible dans JMeter pour mesurer chaque modification de configuration par rapport à la même référence
  2. Analyse des raisons pour lesquelles l'augmentation du nombre d'instances de service produisait un débit constant, afin d'isoler le point de sérialisation
  3. Réglage de la configuration des producteurs et des brokers pour le profil transactionnel plutôt que pour un débit généraliste
  4. Validation de la reprise après basculement sous charge, pour ne pas sacrifier la résilience à la vitesse
  5. Revue de la configuration propre à KRaft au regard de recommandations rédigées pour des déploiements de l'ère ZooKeeper

Résultat obtenu

La plateforme disposait d'une trajectoire mesurée pour revenir vers son objectif de débit, avec une reprise après basculement intacte, ainsi que d'un profil de test de charge réutilisable pour les futures modifications.

Technologies

Apache KafkaKRaftJMeter

Besoin d'un support Apache Kafka expert ?

Les ingénieurs Apache Kafka seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.