Überblick
Pulsar-Broker bestätigen einen Schreibvorgang, sobald das Ack Quorum der Bookies ihn quittiert hat. Damit bestimmt der langsamste Bookie im jeweiligen Ensemble die Untergrenze der Latenz. Ein einzelner Knoten mit gesättigtem Journal-Device verschlechtert die Schreiblatenz aller Topics, deren Ledger auf ihm liegen. AceMQ isoliert den Bookie und korrigiert das darunterliegende Storage-Layout.
Herausforderung
Die häufigste Ursache: Journal und Ledger-Daten teilen sich ein Device. Das Journal braucht sequenzielle fsync-Aufrufe mit niedriger Latenz, das Ledger-Device schreibt große sequenzielle Blöcke und führt regelmäßig Compaction durch. Auf derselben Platte konkurrieren beide, die fsync-Latenz des Journals steigt, und die Add-Entry-Latenz klettert im gesamten Cluster. Hinzu kommen oft eine Ensemble- und Quorum-Konfiguration ohne Reserve für einen langsamen Knoten, ein zu kleiner Write Cache und eine Garbage Collection auf dem Entry Log, die mit dem Live-Traffic konkurriert.
Umgebung
Apache Pulsar mit BookKeeper auf Kubernetes oder Bare Metal, Metadaten in ZooKeeper oder etcd und Tiered Offload in Object Storage.
Vorgehen
AceMQ korreliert die fsync- und Add-Entry-Latenz je Bookie mit der Publish-Latenz auf Broker-Seite, um den Knoten zu finden, der die Untergrenze setzt. Anschließend klären wir, ob Device-Konkurrenz, Cache-Dimensionierung oder Compaction die Ursache ist. Als Sofortmaßnahme wird der Bookie aus neuen Ensembles herausgenommen; die dauerhafte Lösung trennt Journal- und Ledger-Devices und stimmt Cache und Compaction neu ab.
Lösung
- fsync- und Add-Entry-Latenz je Bookie mit der Publish-Latenz der Broker korreliert, um den limitierenden Knoten zu isolieren
- Journal- und Ledger-Devices getrennt, mit passenden Storage-Klassen und eigenem IOPS-Budget
- Write Cache, Read-Ahead Cache und Direct Memory anhand des tatsächlichen Working Sets und des JVM-Heaps dimensioniert
- Garbage Collection des Entry Logs und Compaction-Schwellenwerte so angepasst, dass die Speicherfreigabe nicht mehr mit Live-Schreibvorgängen konkurriert
- Ensemble, Write Quorum und Ack Quorum so konfiguriert, dass ein langsamer Knoten toleriert wird, ohne Schreibvorgänge zu blockieren
- Autorecovery und Verfahren zum Austausch von Bookies validiert, einschließlich der Wiederherstellung unterreplizierter Ledger
Resultat
Sobald der limitierende Bookie isoliert und das Storage-Layout korrigiert ist, sinkt die clusterweite Publish-Latenz wieder auf ihr Ausgangsniveau. Dank der überarbeiteten Quorum-Konfiguration führt der nächste langsame Knoten nur zu einer kontrollierten Verschlechterung, statt den Cluster lahmzulegen.