返回所有使用案例

問題修復金融服務/支付

在 Pulsar 中,一個吃力的 bookie 就會拉高整個叢集的寫入延遲

全球支付處理商

解決因 bookie 的 journal 與 ledger 裝置爭用而造成的全叢集寫入延遲,並恢復寫入 quorum 的餘裕。

概覽

Pulsar broker 會在 ack quorum 的 bookie 確認後才確認寫入,因此每個 ensemble 中最慢的 bookie 決定了延遲下限。只要一個節點的 journal 裝置飽和,所有 ledger 涉及該節點的 topic,寫入延遲都會跟著惡化。AceMQ 會隔離該 bookie,並修正底層的儲存配置。

挑戰

常見的根本原因是 journal 與 ledger 資料共用同一個裝置。Journal 需要低延遲的循序 fsync;ledger 裝置則進行大量循序寫入與定期 compaction。兩者放在同一顆磁碟上就會互相爭用,journal fsync 延遲攀升,add-entry 延遲也會在全叢集上升。其他促成因素包括:沒有為慢速節點保留餘裕的 ensemble 與 quorum 設定、配置過小的寫入快取,以及 entry log 的垃圾回收與即時流量互相競爭。

環境

部署於 Kubernetes 或裸機上、搭配 BookKeeper 的 Apache Pulsar,中繼資料使用 ZooKeeper 或 etcd,並以分層卸載方式存放至物件儲存。

做法

AceMQ 將每個 bookie 的 journal fsync 與 add-entry 延遲,與 broker 端的發布延遲進行關聯分析,找出是哪個節點在決定延遲下限,再確認原因是裝置爭用、快取配置還是 compaction。立即的處置是讓該 bookie 不再加入新的 ensemble;長久的修正則是將 journal 與 ledger 裝置分開,並重新調校快取與 compaction。

解決方案

  1. 將每個 bookie 的 journal fsync 與 add-entry 延遲與 broker 發布延遲進行關聯分析,隔離造成瓶頸的節點
  2. 將 journal 與 ledger 裝置分開,採用適當的儲存類別與各自獨立的 IOPS 預算
  3. 依實際的工作集與 JVM heap 調校寫入快取、預讀快取與 direct memory 配置
  4. 調整 entry log 垃圾回收與 compaction 門檻,讓空間回收不再與即時寫入競爭
  5. 設定 ensemble、write quorum 與 ack quorum,讓系統能容忍慢速節點而不使寫入停滯
  6. 驗證 autorecovery 與 bookie 替換程序,包括 under-replicated ledger 的復原

成效

隔離造成瓶頸的 bookie 並修正儲存配置後,全叢集的發布延遲回到基準水準;而修訂後的 quorum 設定,也讓下一個慢速節點只會讓效能平穩降級,而不會讓整個叢集停滯。

技術

Apache PulsarApache BookKeeperKubernetesZooKeeper

正面臨 Apache Pulsar 正式環境問題嗎?

AceMQ 的資深 Apache Pulsar 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。