返回所有使用案例

評估電信

先規劃 bookie 層的規模——Pulsar 部署最常在這裡出錯

電信業者

依據實際的傳輸量、保留期限與持久性需求,為 Pulsar 部署規劃 broker、bookie 與中繼資料的規模。

概覽

Pulsar 將服務與儲存分離,這既是它維運彈性的來源,也是它規模規劃複雜的原因。broker 容量、bookie 容量與中繼資料容量各自依據不同的因素擴展,而大多數規模不足的部署,都是在 bookie 層估錯了。AceMQ 依據實際量測的需求,為每一層規劃規模。

挑戰

只著眼於訊息速率的規模規劃,會忽略真正的限制條件。write quorum 會讓原始儲存量乘上複寫係數,因此保留期限推升 bookie 磁碟用量的速度遠超預期。journal 裝置需要的是低延遲的 fsync,而不是容量。topic 與分割區的數量會獨立於傳輸量,推升 ZooKeeper 或 etcd 的負載以及 broker 的記憶體用量。異地複寫還會增加很少被編列預算的跨區域頻寬。

環境

在 Kubernetes、裸機或混合式基礎架構上新建或擴充中的 Apache Pulsar 部署,並將資料分層卸載至物件儲存。

做法

AceMQ 從實際量測或預估的傳輸量、保留期限、持久性與 topic 數量推導出需求,再依據限制每一層的那個因素來規劃其規模。若部署已經存在,則會分析目前的使用率,區分真正的容量限制,以及增加硬體也解決不了的設定問題。

解決方案

  1. 依據連線數、topic 數量、派送傳輸量與快取工作集,規劃 broker 層的規模
  2. 將 write quorum 與 ack quorum 套用到保留期限上,規劃 bookie 層的規模,並分別估算 journal 與 ledger 裝置的需求
  3. 依據 topic、分割區與 ledger 數量,規劃 ZooKeeper 或 etcd 中繼資料儲存的規模與設定
  4. 為長期保留的 topic 設定分層卸載門檻,並規劃物件儲存的規模
  5. 在需要多區域傳遞時,規劃異地複寫拓撲並建立跨區域頻寬模型
  6. 依故障域與機架感知規劃配置,讓 ensemble 的選擇能承受單一可用區或機架的失效

成效

客戶取得的是逐層的規模規劃,每一層都依據真正限制它的需求推導而來,而不是從訊息速率等比放大的單一節點數量。既有部署通常會發現,至少有一個被回報的容量問題其實是設定問題,就算增加硬體也解決不了。

技術

Apache PulsarApache BookKeeperZooKeeperKubernetes

準備好進行 Apache Pulsar 健康檢查了嗎?

AceMQ 的資深 Apache Pulsar 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。