Panoramica
I gruppi Raft per partizione di Redpanda rendono la latenza sensibile al modo in cui è distribuita la leadership delle partizioni. Quando i leader si concentrano su un sottoinsieme di broker, quei nodi vanno in saturazione mentre il resto del cluster resta inattivo, e la latenza di coda sale ben prima che la latenza media mostri qualcosa. AceMQ diagnostica il problema e ribilancia.
Sfida
I picchi di latenza compaiono dopo un rolling restart, la sostituzione di un nodo o la crescita naturale delle partizioni. La leadership finisce per essere distribuita in modo non uniforme, per cui pochi broker sostengono un carico di scrittura sproporzionato. Più in profondità, la classe di storage potrebbe non garantire il throughput di scrittura sostenuto che il cluster presupponeva, i limiti di CPU di Kubernetes potrebbero strozzare i thread del reactor, oppure il numero di partizioni di un topic potrebbe essere troppo basso per distribuire il carico a prescindere dalla leadership. Il sintomo è lo stesso in ogni caso.
Ambiente
Cluster Redpanda su Kubernetes o istanze cloud con NVMe locale o storage collegato in rete, al servizio di producer sensibili alla latenza.
Approccio
AceMQ correla il numero di leadership per broker, la latenza di scrittura su disco e le metriche di throttling della CPU con i percentili di latenza, per individuare quale livello sia davvero saturo. Per prima cosa si ribilancia la leadership e si corregge l'assegnazione delle partizioni, poi si interviene su classe di storage e limiti delle risorse dove l'hardware è effettivamente il vincolo.
Soluzione
- Analisi del numero di leadership Raft per broker e della distribuzione delle partizioni, correlata ai percentili di latenza di produzione
- Ribilanciamento della leadership e riassegnazione delle partizioni per distribuire uniformemente il carico di scrittura sul cluster
- Validazione della latenza di scrittura su disco e del throughput sostenuto rispetto alla classe di storage effettivamente allocata
- Revisione dei limiti di CPU di Kubernetes e dei thread del reactor per eliminare il throttling dei thread degli shard seastar
- Revisione del numero di partizioni per i topic con un parallelismo troppo basso per il loro throughput, indipendentemente dalla posizione della leadership
- Impostazioni di batching, linger e acknowledgment dei producer tarate sul requisito di durabilità anziché sui default
Esito
La latenza di coda rientra nei limiti e ci resta anche durante i rolling restart, perché il ribilanciamento della leadership viene applicato come pratica operativa e non come intervento una tantum. Dove il vero vincolo era lo storage, la raccomandazione di dimensionamento è supportata da throughput misurati.