Panoramica
Un hosting provider che gestiva circa 2.000 server per 60.000 clienti aveva portato il proprio deployment Kafka da uno a cinque nodi con la crescita della domanda, ma continuava a registrare frequenti timeout dei producer. La reazione istintiva, aggiungere capacità, era già stata tentata.
Sfida
Il cluster usava un replication factor di quattro su cinque nodi, con broker e controller co-locati sugli stessi nodi. Di conseguenza il controller leader si ritrovava con un numero insolitamente elevato di connessioni attive, oltre ai propri compiti di replica, ed era proprio la concentrazione di connessioni, e non il throughput in sé, a causare i timeout. Ne seguivano rielezioni e spostamenti dei topic, che sembravano instabilità anziché un sintomo della stessa causa.
Ambiente
Cluster Kafka di cinque nodi distribuito con Docker su server fisici, a supporto di un ampio parco di hosting condiviso.
Approccio
AceMQ ha confrontato le scelte di replica e di topologia con ciò che il workload richiedeva davvero, anziché fare tuning attorno al sintomo. Le raccomandazioni sono state messe in sequenza, così che ciascuna potesse essere validata sulle metriche di stabilità del cluster prima di applicare la successiva.
Soluzione
- Replication factor ridotto da quattro a tre, in linea con i requisiti di durabilità senza replicare in eccesso ogni partizione
- Ruoli di broker e controller separati, così che il lavoro del controller non competesse più con il traffico servito
- Mantenuto un minimo di tre broker per preservare le garanzie di disponibilità durante la modifica
- Impostazioni dei thread tarate per migliorare la reattività sotto carico di connessioni
- Frequenza delle rielezioni e spostamenti dei topic definiti come metriche da osservare nella validazione di ciascun passaggio
Esito
I timeout dei producer sono stati affrontati alla radice invece di essere mascherati da capacità aggiuntiva, e il team dispone ora di un insieme chiaro di segnali per individuare presto un'eventuale recidiva.