Panoramica
Una piattaforma di elaborazione delle transazioni al servizio di clienti bancari ha abilitato Kafka e ha visto il throughput ridursi di circa sette volte. Aggiungere istanze del servizio non cambiava nulla: le prestazioni restavano invariate indipendentemente dal numero di istanze in esecuzione, il segno tipico di un collo di bottiglia e non di un limite di capacità. Una scadenza di validazione imponeva alla piattaforma di dimostrare 80.000 transazioni all'ora entro una settimana.
Sfida
Prestazioni invariate con un parallelismo crescente indicavano un problema di configurazione più che di hardware. Il deployment usava Kafka 4.0 con KRaft, che elimina la dipendenza da ZooKeeper ma cambia anche i parametri di tuning rispetto alle indicazioni che la maggior parte dei team ha assimilato. Il ripristino in caso di failover doveva reggere a qualsiasi modifica, trattandosi di un workload finanziario.
Ambiente
Kafka 4.0 in modalità KRaft, alla base di una piattaforma di elaborazione delle transazioni per clienti bancari, con JMeter utilizzato per la validazione sotto carico.
Approccio
Il lavoro si è concentrato sul capire perché l'aggiunta di istanze non producesse alcun guadagno, validando poi ogni modifica con un profilo di carico JMeter ripetibile, così che il miglioramento fosse misurato e non presunto. Il comportamento in failover è stato trattato come un vincolo del tuning, non come un aspetto secondario.
Soluzione
- Definito un profilo di carico ripetibile in JMeter, così da misurare ogni modifica di configurazione rispetto alla stessa baseline
- Indagato perché l'aumento delle istanze del servizio producesse un throughput costante, isolando il punto di serializzazione
- Configurazione di producer e broker ottimizzata per il pattern transazionale anziché per un throughput generico
- Ripristino in failover validato sotto carico, così da non sacrificare la resilienza in cambio della velocità
- Configurazione specifica di KRaft rivista rispetto alle indicazioni scritte per i deployment dell'era ZooKeeper
Esito
La piattaforma disponeva di un percorso misurato per tornare verso il proprio obiettivo di throughput con il ripristino in failover intatto, e di un profilo di test di carico da rieseguire a ogni modifica futura.