Kafka

Kafka 4.0 (KRaft, senza ZooKeeper) è pronto per la produzione?

Scott Sternloff

Di Scott Sternloff, Enterprise Architect senior

LinkedIn · Aggiornato il

ZooKeeperexternalL23KRaft QuorumZooKeeper → KRaft Consensus
In questa pagina

Kafka 4.0 rappresenta il cambiamento architetturale più importante nella storia del progetto: ZooKeeper, il servizio di coordinamento esterno su cui Kafka si appoggiava fin dalle prime versioni, non c'è più. I metadati del cluster e il consenso dei controller sono ora gestiti internamente tramite KRaft (Kafka Raft), il protocollo di consenso di Kafka basato su Raft. È una reale semplificazione del modello operativo, con un sistema distribuito in meno da gestire e ottimizzare, ma "nuova architettura major appena rilasciata" e "collaudata sul vostro carico specifico" sono affermazioni diverse.

Questo articolo illustra cosa è cambiato davvero sul piano operativo, sulla base di un caso reale di produzione che ha incontrato un problema di prestazioni significativo proprio su Kafka 4.0.0.

La modalità KRaft è stabile o è ancora una tecnologia acerba/beta?

La modalità KRaft è l'architettura standard di produzione in Kafka 4.0: a questo punto non è una funzionalità beta o in anteprima. Diverse organizzazioni la stanno adottando in produzione, anche per casi d'uso impegnativi: un'organizzazione ha scelto Kafka 4.0.0 per una piattaforma di elaborazione transazioni nel settore bancario proprio perché elimina la dipendenza da ZooKeeper, considerando quella semplificazione architetturale una scelta tecnologica deliberata e lungimirante, non un rischio da evitare.

Detto questo, "l'architettura è di livello produzione" e "ogni funzionalità si comporta esattamente come nel modello basato su ZooKeeper" sono affermazioni diverse, e il caso reale citato in tutto l'articolo illustra proprio questo divario.

Cosa è andato storto nel caso reale di Kafka 4.0 descritto qui?

Una regressione di prestazioni significativa e specifica legata alle transazioni Kafka. Un'organizzazione che gestiva una piattaforma di elaborazione transazioni su Kafka 4.0.0, con Spring Boot 3.2 e Java 17, aveva misurato in precedenza un throughput di circa 320.000 transazioni all'ora con il messaging Kafka standard. Dopo aver aggiunto al sistema la capacità di recovery, implementata con la funzionalità di transactional messaging di Kafka, il throughput è sceso a 40.000-50.000 transazioni all'ora e, aspetto decisivo, aumentare il numero di istanze del servizio non lo ha migliorato. Il sistema restava bloccato sullo stesso tetto di throughput indipendentemente dallo scaling orizzontale, un forte segnale che il collo di bottiglia era strutturale (probabilmente legato al coordinator) e non una semplice contesa di risorse.

Quando il team ha provato a eseguire lo stesso carico senza transazioni Kafka, le prestazioni sono tornate normali, isolando la regressione proprio nel percorso del transactional messaging e non nella modalità KRaft, nella configurazione dei broker o nel codice applicativo in generale.

Significa che le transazioni Kafka non funzionano in modalità KRaft?

Non necessariamente, ma significa che proprio le transazioni richiedono una validazione più approfondita prima di adottarle per un carico sensibile alle prestazioni, perché il comportamento del transaction coordinator con KRaft è architetturalmente diverso da quello dei cluster basati su ZooKeeper, e questa differenza può manifestarsi esattamente come questo tipo di tetto di throughput con determinati schemi di utilizzo.

Cosa sappiamo da questo caso:

  • Il tetto di throughput era riproducibile e costante (non intermittente)
  • Non rispondeva allo scaling orizzontale, il che esclude come causa una semplice carenza di risorse
  • Rimuovere le transazioni dallo stesso carico ripristinava il throughput normale

Cosa indica sul piano diagnostico: il comportamento del transaction coordinator, cioè il modo in cui lo stato transazionale viene tracciato, committato e coordinato nel cluster, è un forte candidato a essere il collo di bottiglia, perché è il componente più direttamente legato alla differenza di comportamento osservata tra "transazioni attive" e "transazioni disattivate". Un intervento diagnostico strutturato per questo tipo di problema esaminerebbe come primi obiettivi il posizionamento del transaction coordinator, la configurazione del timeout delle transazioni e la cardinalità e il partizionamento di transactional.id.

Conviene evitare del tutto le transazioni Kafka sulla 4.0?

Non necessariamente, ma validate il vostro specifico schema di utilizzo delle transazioni sotto un carico realistico prima di adottarlo per un carico di produzione critico e sensibile alla latenza, invece di presumere che le indicazioni generali sulle transazioni Kafka della documentazione precedente alla 4.0 restino valide senza modifiche.

Se il vostro caso d'uso richiede le transazioni Kafka (semantica exactly-once tra produzione e consumo, oppure scritture atomiche su più partizioni):

  • Eseguite il load test del percorso transazionale in modo specifico e separato dalla baseline di throughput senza transazioni, con un tasso di transazioni e uno schema di transactional.id rappresentativi
  • Verificate se lo scaling orizzontale delle istanze producer/consumer migliora davvero il throughput transazionale nel vostro ambiente: se non lo fa, è lo stesso segnale d'allarme osservato nel caso sopra e merita un'indagine prima di andare in produzione
  • Consultate le release notes e i known issue attuali di Kafka 4.x relativi al comportamento del transaction coordinator in KRaft, perché è un'area del codice in piena evoluzione dopo la rimozione di ZooKeeper

Se il vostro caso d'uso non richiede strettamente le transazioni, valutate se i requisiti di recovery e idempotenza possono essere soddisfatti con schemi alternativi, come la sola configurazione del producer idempotente (senza transazioni complete), la deduplicazione a livello applicativo o un'architettura di recovery diversa, che potrebbero evitare del tutto il collo di bottiglia osservato qui.

Quale approccio di load test valida davvero Kafka 4.0 per il vostro carico?

Nel caso reale citato in tutto l'articolo è stato usato JMeter per generare un carico controllato e costante a un tasso specifico di transazioni al secondo/minuto, una scelta deliberata perché offre una visibilità chiara e controllabile su come il sistema risponde agli aumenti di carico, invece di affidarsi a schemi di traffico di produzione più difficili da isolare e riprodurre a fini diagnostici.

Un approccio di validazione solido:

  1. Stabilite prima una baseline di throughput senza transazioni, così da avere un punto di confronto pulito
  2. Introducete le transazioni e misurate la differenza di throughput con lo stesso profilo di carico
  3. Testate esplicitamente lo scaling orizzontale: aggiungete istanze producer/consumer e verificate che il throughput aumenti davvero; se si appiattisce, è il segnale per indagare i colli di bottiglia a livello di coordinator prima di procedere
  4. Usate uno strumento di generazione del carico che consenta di mantenere un tasso di transazioni costante e noto (JMeter, oppure lo strumento di Kafka kafka-producer-perf-test.sh per la validazione lato producer), invece di affidarvi solo al traffico organico durante un soft launch

Obiettivi di risposta da 15 minuti, in base al piano. Ingegneri senior dedicati.

Contattateci

Quale versione di Kafka dovrebbero scegliere le organizzazioni con vecchi cluster basati su ZooKeeper?

Se oggi usate una versione precedente a KRaft e state pianificando il percorso di upgrade, tenete presente che Kafka 4.0 e successive sono per progettazione prive di ZooKeeper: dalla 4.0 il supporto a ZooKeeper è stato rimosso, non solo deprecato. La pianificazione dell'upgrade deve quindi includere la migrazione a KRaft come parte del percorso, non come un passaggio successivo facoltativo.

Per i carichi che non fanno un uso intensivo delle transazioni Kafka, questa migrazione è in genere meno rischiosa del caso descritto nell'articolo, perché il collo di bottiglia individuato qui riguardava specificamente il throughput transazionale e non il funzionamento generale del cluster KRaft. Per i carichi con uso intensivo di transazioni, prevedete esplicitamente nel piano di migrazione il tempo per il load test del percorso transazionale, con l'approccio di validazione descritto sopra, invece di presumere che le caratteristiche prestazionali delle transazioni precedenti a KRaft restino invariate.

In sintesi, quanto è pronto Kafka 4.0 per la produzione?

L'architettura KRaft di base è pronta per la produzione e viene adottata attivamente per carichi impegnativi, compresa l'elaborazione di transazioni finanziarie. Le transazioni Kafka in particolare richiedono una validazione dedicata sotto carico prima di essere adottate per un carico di produzione sensibile alle prestazioni, sulla base di una regressione di throughput reale e riproducibile osservata nei test di produzione. Non è un motivo per evitare Kafka 4.0, ma per testare deliberatamente il vostro schema di utilizzo, invece di presumere una piena parità di comportamento con le versioni di Kafka precedenti a KRaft su ogni funzionalità, transazioni comprese.

Controller isolati o modalità combinata: cosa raccomanda upstream e cosa distribuiamo noi

Un cluster KRaft conserva i propri metadati in un quorum Raft di nodi controller invece che in ZooKeeper. Il quorum elegge un controller attivo, che gestisce il metadata log: definizioni di topic e partizioni, assegnazioni delle repliche, elezioni dei leader, configurazioni, ACL. Ogni broker segue quel log e lo applica localmente. Ogni nodo dichiara il proprio ruolo tramite process.roles. Un nodo con process.roles=controller si limita a votare e a servire i metadati. Un nodo con process.roles=broker serve solo il traffico dei client e i dati delle partizioni. Un nodo con process.roles=broker,controller fa entrambe le cose sulla stessa JVM: è quella che upstream chiama modalità combinata.

La documentazione upstream è chiara su quale di queste configurazioni vada in produzione. I controller isolati su server propri sono il layout raccomandato per i carichi di produzione. La modalità combinata è descritta come adatta a sviluppo, test e cluster piccoli in cui l'isolamento delle risorse non è un problema. È supportata e funziona, ma non è il layout che upstream raccomanda per i deployment critici, e la nostra esperienza lo conferma.

Il motivo è l'accoppiamento dei guasti. In modalità combinata un broker sotto pressione di I/O o di garbage collection è anche un controller, quindi un broker in difficoltà non si limita a perdere la leadership sulle proprie partizioni, ma può bloccare i voti del quorum e i commit dei metadati per l'intero cluster. Il metadata log deve eseguire un fsync a ogni commit e, in modalità combinata, quel fsync compete con le scritture dei log delle partizioni sugli stessi dischi e sulla stessa page cache, così un picco di traffico dei producer può rallentare proprio il componente che coordina il recovery. Un riavvio a rotazione dei broker è anche un riavvio dei controller, quindi ogni upgrade di routine o modifica di configurazione dei broker provoca anche un'elezione del controller. Con pochi broker e poco traffico tutto questo conta poco. Con migliaia di partizioni e dischi sotto carico, normali incidenti sui broker diventano incidenti sui metadati dell'intero cluster. Isolare i ruoli è ciò che fa sì che un problema di un broker resti un problema di un broker.

Dimensionare i controller isolati è semplice, perché contengono solo metadati, non dati delle partizioni. Tre controller sono la scelta giusta per la maggior parte dei cluster e tollerano la perdita di uno. Cinque valgono la pena per ambienti molto grandi o deployment su più zone in cui si vuole sopravvivere alla perdita di una zona più una finestra di manutenzione su un altro nodo, al costo di un quorum leggermente più lento. Bastano macchine piccole: pochi core, qualche GB di heap e un disco modesto ma a bassa latenza per il metadata log. Posizionate un controller per availability zone, così che il guasto di una zona non possa portarsi via il quorum. Su Kubernetes questo significa un node pool dedicato ai controller, separato da quello dei broker, come spieghiamo in Kafka su Kubernetes. Il posizionamento del quorum fa parte anche di qualsiasi progetto serio di disaster recovery per Kafka, perché un cluster che ha perso il quorum dei controller non può eleggere i leader delle partizioni anche se tutti i broker sono sani.

La migrazione di un cluster ZooKeeper esistente segue un ordine fisso. Avviate il nuovo quorum di controller con zookeeper.metadata.migration.enable=true e la stringa di connessione a ZooKeeper, così che i controller possano leggere i metadati esistenti. Poi riavviate i broker uno alla volta con il flag di migrazione e i voter del quorum dei controller configurati: il cluster passa così in modalità dual-write, in cui i metadati vengono scritti sia in ZooKeeper sia nel log KRaft. Una volta riavviati tutti i broker e verificati i metadati, finalizzate rimuovendo il flag di migrazione e la configurazione di ZooKeeper dai controller e riavviandoli. Fino a quel momento è possibile tornare a ZooKeeper; dopo la finalizzazione no. Kafka 4.0 ha rimosso completamente la modalità ZooKeeper, quindi l'intera procedura deve essere eseguita su una release ponte 3.9. Si aggiorna alla 3.9, si migra, si finalizza e solo allora si passa alla 4.x.

La nostra regola per i carichi critici è breve. Controller isolati, tre nodi, uno per zona, su dischi separati da tutto il resto. Modalità combinata solo quando il cluster ha pochissimi broker e il motivo è messo per iscritto. Quando prendiamo in carico un cluster che usa la modalità combinata su larga scala, separare i ruoli è di solito il primo intervento, prima ancora della strategia di partizionamento o della capacità. Se volete questa revisione sul vostro ambiente, il nostro team di consulenza Kafka può definirne il perimetro, e il supporto Kafka segue poi il cluster con copertura 24/7 e obiettivi di risposta da 15 minuti, in base al piano.

Supporto per la migrazione a Kafka 4.0

State migrando a Kafka 4.0 o vedete un tetto di throughput inspiegabile con le transazioni Kafka nel vostro cluster basato su KRaft? Contattate AceMQ per un intervento diagnostico. Non sapete da dove cominciare? Parlate con un ingegnere AceMQ.

Questo è il primo dei dieci passaggi della guida alle operazioni Kafka, che affronta le decisioni operative nell'ordine in cui si presentano in un ambiente di produzione.

Domande frequenti

Kafka raccomanda controller KRaft isolati in produzione?

Sì. La documentazione upstream di Kafka raccomanda di eseguire i controller su server dedicati per i carichi di produzione e descrive la modalità combinata, in cui un nodo è sia broker sia controller, come adatta a sviluppo, test e cluster piccoli dove l'isolamento delle risorse non è un problema. La modalità combinata è supportata e funziona, ma un broker sotto pressione di I/O o di GC è anche un controller, e un riavvio del broker è anche un riavvio del controller. Per qualsiasi carico critico distribuiamo controller isolati su nodi e dischi propri e trattiamo la modalità combinata come un'eccezione documentata per cluster molto piccoli.

Quanti controller KRaft deve avere un cluster di produzione?

Tre per la maggior parte dei cluster, cinque per ambienti molto grandi o distribuiti su più zone. Un quorum di tre nodi tollera la perdita di un controller, uno di cinque ne tollera due, il che conta quando si vuole sopravvivere a un'interruzione di zona mentre un altro controller è fermo per manutenzione. I controller contengono solo metadati, quindi bastano nodi piccoli con pochi core, qualche GB di heap e un disco a bassa latenza. Posizionate un controller per availability zone, tenete il metadata log su un disco dedicato ed eseguiteli in un node pool dedicato su Kubernetes. Non usate un numero pari e non contate i controller come capacità dei broker.

La modalità KRaft di Kafka 4.0 è abbastanza stabile per la produzione?

Sì: KRaft è l'architettura standard di produzione in Kafka 4.0, non una funzionalità beta. Diverse organizzazioni la stanno adottando per carichi impegnativi, compresa l'elaborazione di transazioni nel settore bancario, proprio perché elimina la dipendenza da ZooKeeper.

Cosa è andato storto nel caso reale di Kafka 4.0 in produzione descritto qui?

Una piattaforma di elaborazione transazioni su Kafka 4.0.0 ha visto il throughput scendere da circa 320.000 a 40.000-50.000 transazioni all'ora dopo l'introduzione del transactional messaging di Kafka per gestire il recovery. Aumentare le istanze del servizio non ha migliorato il throughput, mentre rimuovere le transazioni ha ripristinato le prestazioni normali, isolando la regressione proprio nel percorso transazionale.

Le transazioni Kafka non funzionano in modalità KRaft?

Non necessariamente, ma richiedono una validazione più approfondita: il comportamento del transaction coordinator con KRaft è architetturalmente diverso rispetto ai cluster basati su ZooKeeper. Il tetto di throughput osservato era riproducibile, non rispondeva allo scaling orizzontale e scompariva rimuovendo le transazioni, il che indica nel comportamento del transaction coordinator il probabile collo di bottiglia.

Conviene evitare del tutto le transazioni Kafka sulla 4.0?

Non necessariamente, ma validate il vostro specifico schema di utilizzo delle transazioni sotto un carico realistico prima di adottarlo per un carico critico in produzione. Se le transazioni non sono strettamente necessarie, valutate la configurazione del producer idempotente o la deduplicazione a livello applicativo come alternative che potrebbero evitare del tutto il collo di bottiglia.

Come si esegue il load test di Kafka 4.0 prima di andare in produzione?

Stabilite prima una baseline di throughput senza transazioni, poi introducete le transazioni e misurate la differenza con lo stesso profilo di carico. Testate esplicitamente lo scaling orizzontale: se il throughput si appiattisce invece di crescere, indagate i colli di bottiglia a livello di coordinator. Sia JMeter sia lo strumento kafka-producer-perf-test.sh di Kafka funzionano bene per generare un carico costante e controllato.

Quale versione di Kafka scegliere se si usano ancora cluster basati su ZooKeeper?

Kafka 4.0 e successive sono per progettazione prive di ZooKeeper (dalla 4.0 il supporto a ZooKeeper è stato rimosso, non solo deprecato), quindi la pianificazione dell'upgrade deve includere la migrazione a KRaft come passaggio obbligatorio, non facoltativo. Per i carichi con uso intensivo di transazioni va previsto esplicitamente, nell'ambito della migrazione, il tempo necessario al load test del percorso transazionale.

In sintesi, Kafka 4.0 è pronto per la produzione?

L'architettura KRaft di base è pronta per la produzione e viene usata attivamente per carichi impegnativi, compresa l'elaborazione di transazioni finanziarie. Le transazioni Kafka in particolare richiedono una validazione dedicata sotto carico prima di essere adottate in produzione per usi sensibili alle prestazioni, sulla base di una regressione di throughput reale e riproducibile.

Consulenza gratuita

Fate esaminare a un esperto il vostro cluster Kafka

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci