概覽
Redpanda 每個 partition 都有自己的 Raft group,因此延遲會受到 partition leadership 分佈方式的影響。當 leader 集中在部分 broker 上,這些節點就會飽和,而叢集其餘節點卻閒置,尾端延遲早在平均延遲出現任何變化之前就已經上升。AceMQ 負責診斷並重新平衡。
挑戰
延遲尖峰會在滾動重新啟動、節點替換或 partition 自然成長之後出現。Leadership 最後分佈不均,少數幾個 broker 承擔了不成比例的寫入負載。更深一層,儲存類別可能無法提供叢集所假設的持續寫入吞吐量、Kubernetes CPU 限制可能正在節流 reactor 執行緒,或是某個 topic 的 partition 數量太少,不論 leadership 如何配置都無法分散負載。每一種情況的症狀都一樣。
環境
部署於 Kubernetes 或雲端執行個體上的 Redpanda 叢集,使用本機 NVMe 或網路附加儲存,服務對延遲敏感的 producer。
做法
AceMQ 將每個 broker 的 leadership 數量、磁碟寫入延遲與 CPU 節流指標,與延遲百分位數進行關聯分析,找出實際飽和的是哪一層。先重新平衡 leadership 並修正 partition 指派,若硬體確實是瓶頸,再處理儲存類別與資源限制。
解決方案
- 分析每個 broker 的 Raft leadership 數量與 partition 分佈,並與 produce 延遲百分位數進行關聯
- 重新平衡 leadership 並重新指派 partition,讓寫入負載平均分散到整個叢集
- 依實際佈建的儲存類別,驗證磁碟寫入延遲與持續吞吐量
- 檢視 Kubernetes CPU 限制與 reactor 執行緒,消除 seastar shard 執行緒遭節流的情況
- 針對無論 leadership 如何配置、平行度都不足以支撐其吞吐量的 topic,檢視 partition 數量
- 依持久性需求而非預設值,調校 producer 的 batching、linger 與確認設定
成效
尾端延遲回到正常範圍,並在滾動重新啟動期間維持穩定,因為 leadership 重新平衡已成為一項維運實務,而不是一次性的修正。在儲存確實是瓶頸的情況下,規格建議也有實測的吞吐量作為依據。