Zurück zu allen Kundenbeispielen

SupportFinanzdienstleistungen

Die Plattform skalierte hoch – und der Durchsatz ging nach unten

Plattform für Banktransaktionen

Nach der Einführung von Kafka fiel der Durchsatz von 320.000 auf rund 45.000 Transaktionen pro Stunde. Die Plattform musste 80.000 erreichen, um ihre Skalierbarkeit zu belegen.

Überblick

Eine Plattform zur Transaktionsverarbeitung für Bankkunden aktivierte Kafka und erlebte einen Einbruch des Durchsatzes um etwa den Faktor sieben. Zusätzliche Service-Instanzen änderten nichts – die Performance blieb unabhängig von der Anzahl laufender Instanzen gleich, das typische Zeichen eines Engpasses und nicht einer Kapazitätsgrenze. Wegen einer Validierungsfrist musste die Plattform innerhalb einer Woche 80.000 Transaktionen pro Stunde nachweisen.

Herausforderung

Eine gleichbleibende Performance bei steigender Parallelität deutete auf die Konfiguration statt auf die Hardware hin. Das Deployment lief mit Kafka 4.0 und KRaft – damit entfiel die Abhängigkeit von ZooKeeper, aber auch die Tuning-Stellschrauben hatten sich gegenüber den Empfehlungen verändert, die die meisten Teams verinnerlicht haben. Das Failover-Recovery musste jede Änderung überstehen, da es sich um einen Finanz-Workload handelte.

Umgebung

Kafka 4.0 im KRaft-Modus als Basis einer Plattform zur Transaktionsverarbeitung für Bankkunden, mit JMeter zur Lastvalidierung.

Vorgehen

Im Mittelpunkt stand die Frage, warum zusätzliche Instanzen keinen Gewinn brachten. Jede Änderung wurde anschließend gegen ein reproduzierbares JMeter-Lastprofil validiert, sodass die Verbesserung gemessen statt angenommen wurde. Das Failover-Verhalten galt als Randbedingung für das Tuning, nicht als nachträglicher Gedanke.

Lösung

  1. Reproduzierbares Lastprofil in JMeter aufgebaut, damit jede Konfigurationsänderung gegen dieselbe Baseline gemessen werden konnte
  2. Untersucht, warum mehr Service-Instanzen einen konstanten Durchsatz lieferten, und den Serialisierungspunkt isoliert
  3. Producer- und Broker-Konfiguration auf das Transaktionsmuster statt auf allgemeinen Durchsatz abgestimmt
  4. Failover-Recovery unter Last validiert, damit Resilienz nicht gegen Geschwindigkeit eingetauscht wurde
  5. KRaft-spezifische Konfiguration anhand von Empfehlungen geprüft, die für Deployments aus der ZooKeeper-Ära geschrieben wurden

Resultat

Die Plattform erhielt einen gemessenen Weg zurück zu ihrem Durchsatzziel bei intaktem Failover-Recovery sowie ein Lasttestprofil, das sie bei künftigen Änderungen erneut ausführen kann.

Technologien

Apache KafkaKRaftJMeter

Brauchen Sie Expertensupport für Apache Kafka?

Die Senior Engineers von AceMQ für Apache Kafka haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.