Torna a tutti i casi d'uso

RemediationGaming / Intrattenimento

Quando la latenza di produzione p99 schizza in alto, il primo posto in cui guardare è la distribuzione della leadership

Piattaforma di gaming online

Risoluzione di picchi di latenza in produzione e consumo riconducibili a squilibri nella leadership Raft, saturazione dei dischi e distribuzione delle partizioni tra i broker.

Panoramica

I gruppi Raft per partizione di Redpanda rendono la latenza sensibile al modo in cui è distribuita la leadership delle partizioni. Quando i leader si concentrano su un sottoinsieme di broker, quei nodi vanno in saturazione mentre il resto del cluster resta inattivo, e la latenza di coda sale ben prima che la latenza media mostri qualcosa. AceMQ diagnostica il problema e ribilancia.

Sfida

I picchi di latenza compaiono dopo un rolling restart, la sostituzione di un nodo o la crescita naturale delle partizioni. La leadership finisce per essere distribuita in modo non uniforme, per cui pochi broker sostengono un carico di scrittura sproporzionato. Più in profondità, la classe di storage potrebbe non garantire il throughput di scrittura sostenuto che il cluster presupponeva, i limiti di CPU di Kubernetes potrebbero strozzare i thread del reactor, oppure il numero di partizioni di un topic potrebbe essere troppo basso per distribuire il carico a prescindere dalla leadership. Il sintomo è lo stesso in ogni caso.

Ambiente

Cluster Redpanda su Kubernetes o istanze cloud con NVMe locale o storage collegato in rete, al servizio di producer sensibili alla latenza.

Approccio

AceMQ correla il numero di leadership per broker, la latenza di scrittura su disco e le metriche di throttling della CPU con i percentili di latenza, per individuare quale livello sia davvero saturo. Per prima cosa si ribilancia la leadership e si corregge l'assegnazione delle partizioni, poi si interviene su classe di storage e limiti delle risorse dove l'hardware è effettivamente il vincolo.

Soluzione

  1. Analisi del numero di leadership Raft per broker e della distribuzione delle partizioni, correlata ai percentili di latenza di produzione
  2. Ribilanciamento della leadership e riassegnazione delle partizioni per distribuire uniformemente il carico di scrittura sul cluster
  3. Validazione della latenza di scrittura su disco e del throughput sostenuto rispetto alla classe di storage effettivamente allocata
  4. Revisione dei limiti di CPU di Kubernetes e dei thread del reactor per eliminare il throttling dei thread degli shard seastar
  5. Revisione del numero di partizioni per i topic con un parallelismo troppo basso per il loro throughput, indipendentemente dalla posizione della leadership
  6. Impostazioni di batching, linger e acknowledgment dei producer tarate sul requisito di durabilità anziché sui default

Esito

La latenza di coda rientra nei limiti e ci resta anche durante i rolling restart, perché il ribilanciamento della leadership viene applicato come pratica operativa e non come intervento una tantum. Dove il vero vincolo era lo storage, la raccomandazione di dimensionamento è supportata da throughput misurati.

Tecnologie

RedpandaKubernetesApache Kafka

Avete un problema di produzione su Redpanda?

Gli ingegneri Redpanda senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.