Torna a tutti i casi d'uso

SupportoServizi finanziari

Il throughput è calato quando la piattaforma è stata scalata

Piattaforma di transazioni bancarie

Dopo l'introduzione di Kafka il throughput è sceso da 320.000 a circa 45.000 transazioni all'ora. La piattaforma doveva arrivare a 80.000 per dimostrare di saper scalare.

Panoramica

Una piattaforma di elaborazione delle transazioni al servizio di clienti bancari ha abilitato Kafka e ha visto il throughput ridursi di circa sette volte. Aggiungere istanze del servizio non cambiava nulla: le prestazioni restavano invariate indipendentemente dal numero di istanze in esecuzione, il segno tipico di un collo di bottiglia e non di un limite di capacità. Una scadenza di validazione imponeva alla piattaforma di dimostrare 80.000 transazioni all'ora entro una settimana.

Sfida

Prestazioni invariate con un parallelismo crescente indicavano un problema di configurazione più che di hardware. Il deployment usava Kafka 4.0 con KRaft, che elimina la dipendenza da ZooKeeper ma cambia anche i parametri di tuning rispetto alle indicazioni che la maggior parte dei team ha assimilato. Il ripristino in caso di failover doveva reggere a qualsiasi modifica, trattandosi di un workload finanziario.

Ambiente

Kafka 4.0 in modalità KRaft, alla base di una piattaforma di elaborazione delle transazioni per clienti bancari, con JMeter utilizzato per la validazione sotto carico.

Approccio

Il lavoro si è concentrato sul capire perché l'aggiunta di istanze non producesse alcun guadagno, validando poi ogni modifica con un profilo di carico JMeter ripetibile, così che il miglioramento fosse misurato e non presunto. Il comportamento in failover è stato trattato come un vincolo del tuning, non come un aspetto secondario.

Soluzione

  1. Definito un profilo di carico ripetibile in JMeter, così da misurare ogni modifica di configurazione rispetto alla stessa baseline
  2. Indagato perché l'aumento delle istanze del servizio producesse un throughput costante, isolando il punto di serializzazione
  3. Configurazione di producer e broker ottimizzata per il pattern transazionale anziché per un throughput generico
  4. Ripristino in failover validato sotto carico, così da non sacrificare la resilienza in cambio della velocità
  5. Configurazione specifica di KRaft rivista rispetto alle indicazioni scritte per i deployment dell'era ZooKeeper

Esito

La piattaforma disponeva di un percorso misurato per tornare verso il proprio obiettivo di throughput con il ripristino in failover intatto, e di un profilo di test di carico da rieseguire a ogni modifica futura.

Tecnologie

Apache KafkaKRaftJMeter

Vi serve supporto specialistico per Apache Kafka?

Gli ingegneri Apache Kafka senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.