返回所有使用案例

問題修復遊戲/娛樂

當 p99 produce 延遲飆升時,第一個要看的是 leadership 分佈

線上遊戲平台

解決 produce 與 consume 延遲尖峰,追查後確認源自 Raft leadership 不平衡、磁碟飽和,以及 partition 在各 broker 之間的分佈。

概覽

Redpanda 每個 partition 都有自己的 Raft group,因此延遲會受到 partition leadership 分佈方式的影響。當 leader 集中在部分 broker 上,這些節點就會飽和,而叢集其餘節點卻閒置,尾端延遲早在平均延遲出現任何變化之前就已經上升。AceMQ 負責診斷並重新平衡。

挑戰

延遲尖峰會在滾動重新啟動、節點替換或 partition 自然成長之後出現。Leadership 最後分佈不均,少數幾個 broker 承擔了不成比例的寫入負載。更深一層,儲存類別可能無法提供叢集所假設的持續寫入吞吐量、Kubernetes CPU 限制可能正在節流 reactor 執行緒,或是某個 topic 的 partition 數量太少,不論 leadership 如何配置都無法分散負載。每一種情況的症狀都一樣。

環境

部署於 Kubernetes 或雲端執行個體上的 Redpanda 叢集,使用本機 NVMe 或網路附加儲存,服務對延遲敏感的 producer。

做法

AceMQ 將每個 broker 的 leadership 數量、磁碟寫入延遲與 CPU 節流指標,與延遲百分位數進行關聯分析,找出實際飽和的是哪一層。先重新平衡 leadership 並修正 partition 指派,若硬體確實是瓶頸,再處理儲存類別與資源限制。

解決方案

  1. 分析每個 broker 的 Raft leadership 數量與 partition 分佈,並與 produce 延遲百分位數進行關聯
  2. 重新平衡 leadership 並重新指派 partition,讓寫入負載平均分散到整個叢集
  3. 依實際佈建的儲存類別,驗證磁碟寫入延遲與持續吞吐量
  4. 檢視 Kubernetes CPU 限制與 reactor 執行緒,消除 seastar shard 執行緒遭節流的情況
  5. 針對無論 leadership 如何配置、平行度都不足以支撐其吞吐量的 topic,檢視 partition 數量
  6. 依持久性需求而非預設值,調校 producer 的 batching、linger 與確認設定

成效

尾端延遲回到正常範圍,並在滾動重新啟動期間維持穩定,因為 leadership 重新平衡已成為一項維運實務,而不是一次性的修正。在儲存確實是瓶頸的情況下,規格建議也有實測的吞吐量作為依據。

技術

RedpandaKubernetesApache Kafka

正面臨 Redpanda 正式環境問題嗎?

AceMQ 的資深 Redpanda 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。