Überblick
Eine Plattform zur Transaktionsverarbeitung für Bankkunden aktivierte Kafka und erlebte einen Einbruch des Durchsatzes um etwa den Faktor sieben. Zusätzliche Service-Instanzen änderten nichts – die Performance blieb unabhängig von der Anzahl laufender Instanzen gleich, das typische Zeichen eines Engpasses und nicht einer Kapazitätsgrenze. Wegen einer Validierungsfrist musste die Plattform innerhalb einer Woche 80.000 Transaktionen pro Stunde nachweisen.
Herausforderung
Eine gleichbleibende Performance bei steigender Parallelität deutete auf die Konfiguration statt auf die Hardware hin. Das Deployment lief mit Kafka 4.0 und KRaft – damit entfiel die Abhängigkeit von ZooKeeper, aber auch die Tuning-Stellschrauben hatten sich gegenüber den Empfehlungen verändert, die die meisten Teams verinnerlicht haben. Das Failover-Recovery musste jede Änderung überstehen, da es sich um einen Finanz-Workload handelte.
Umgebung
Kafka 4.0 im KRaft-Modus als Basis einer Plattform zur Transaktionsverarbeitung für Bankkunden, mit JMeter zur Lastvalidierung.
Vorgehen
Im Mittelpunkt stand die Frage, warum zusätzliche Instanzen keinen Gewinn brachten. Jede Änderung wurde anschließend gegen ein reproduzierbares JMeter-Lastprofil validiert, sodass die Verbesserung gemessen statt angenommen wurde. Das Failover-Verhalten galt als Randbedingung für das Tuning, nicht als nachträglicher Gedanke.
Lösung
- Reproduzierbares Lastprofil in JMeter aufgebaut, damit jede Konfigurationsänderung gegen dieselbe Baseline gemessen werden konnte
- Untersucht, warum mehr Service-Instanzen einen konstanten Durchsatz lieferten, und den Serialisierungspunkt isoliert
- Producer- und Broker-Konfiguration auf das Transaktionsmuster statt auf allgemeinen Durchsatz abgestimmt
- Failover-Recovery unter Last validiert, damit Resilienz nicht gegen Geschwindigkeit eingetauscht wurde
- KRaft-spezifische Konfiguration anhand von Empfehlungen geprüft, die für Deployments aus der ZooKeeper-Ära geschrieben wurden
Resultat
Die Plattform erhielt einen gemessenen Weg zurück zu ihrem Durchsatzziel bei intaktem Failover-Recovery sowie ein Lasttestprofil, das sie bei künftigen Änderungen erneut ausführen kann.