Überblick
Durch die Raft-Gruppen je Partition reagiert die Latenz in Redpanda empfindlich darauf, wie die Partition-Leadership verteilt ist. Konzentrieren sich die Leader auf einen Teil der Broker, sättigen diese Knoten, während der Rest des Clusters untätig ist – und die Tail-Latenz steigt lange bevor die durchschnittliche Latenz etwas zeigt. AceMQ diagnostiziert und gleicht neu aus.
Herausforderung
Latenzspitzen treten nach einem Rolling Restart, dem Austausch eines Knotens oder organisch wachsender Partitionszahl auf. Die Leadership ist danach ungleich verteilt, sodass wenige Broker eine unverhältnismäßig hohe Schreiblast tragen. Darunter liegt womöglich eine Storage-Klasse, die den angenommenen dauerhaften Schreibdurchsatz nicht liefert, CPU-Limits in Kubernetes drosseln die Reactor-Threads, oder ein Topic hat zu wenige Partitionen, um die Last unabhängig von der Leadership zu verteilen. Das Symptom ist in jedem Fall dasselbe.
Umgebung
Redpanda-Cluster auf Kubernetes oder Cloud-Instanzen mit lokalem NVMe oder Network-Attached Storage für latenzkritische Producer.
Vorgehen
AceMQ korreliert die Leadership-Zahl je Broker, die Schreiblatenz der Datenträger und Metriken zur CPU-Drosselung mit den Latenz-Perzentilen, um die tatsächlich gesättigte Ebene zu finden. Zuerst werden Leadership und Partitionszuweisung korrigiert; Storage-Klasse und Ressourcenlimits gehen wir dort an, wo wirklich die Hardware der Engpass ist.
Lösung
- Analyse der Raft-Leadership-Zahl und Partitionsverteilung je Broker, korreliert mit den Perzentilen der Produce-Latenz
- Rebalancing der Leadership und Neuzuweisung von Partitionen, um die Schreiblast gleichmäßig über den Cluster zu verteilen
- Validierung von Schreiblatenz und dauerhaftem Durchsatz der Datenträger gegenüber der tatsächlich bereitgestellten Storage-Klasse
- Prüfung von CPU-Limits in Kubernetes und Reactor-Threads, um die Drosselung der Seastar-Shard-Threads zu beseitigen
- Prüfung der Partitionszahl bei Topics, deren Parallelität für ihren Durchsatz zu gering ist – unabhängig von der Platzierung der Leader
- Producer-Einstellungen für Batching, Linger und Acknowledgments auf die Anforderungen an die Dauerhaftigkeit abgestimmt statt auf Standardwerte
Resultat
Die Tail-Latenz kehrt in den Zielbereich zurück und bleibt auch bei Rolling Restarts dort, weil das Rebalancing der Leadership als Betriebspraxis etabliert ist statt als einmalige Korrektur. Wo das Storage der eigentliche Engpass war, stützt sich die Dimensionierungsempfehlung auf gemessenen Durchsatz.