概覽
Pulsar 將服務與儲存分離,這既是它維運彈性的來源,也是它規模規劃複雜的原因。broker 容量、bookie 容量與中繼資料容量各自依據不同的因素擴展,而大多數規模不足的部署,都是在 bookie 層估錯了。AceMQ 依據實際量測的需求,為每一層規劃規模。
挑戰
只著眼於訊息速率的規模規劃,會忽略真正的限制條件。write quorum 會讓原始儲存量乘上複寫係數,因此保留期限推升 bookie 磁碟用量的速度遠超預期。journal 裝置需要的是低延遲的 fsync,而不是容量。topic 與分割區的數量會獨立於傳輸量,推升 ZooKeeper 或 etcd 的負載以及 broker 的記憶體用量。異地複寫還會增加很少被編列預算的跨區域頻寬。
環境
在 Kubernetes、裸機或混合式基礎架構上新建或擴充中的 Apache Pulsar 部署,並將資料分層卸載至物件儲存。
做法
AceMQ 從實際量測或預估的傳輸量、保留期限、持久性與 topic 數量推導出需求,再依據限制每一層的那個因素來規劃其規模。若部署已經存在,則會分析目前的使用率,區分真正的容量限制,以及增加硬體也解決不了的設定問題。
解決方案
- 依據連線數、topic 數量、派送傳輸量與快取工作集,規劃 broker 層的規模
- 將 write quorum 與 ack quorum 套用到保留期限上,規劃 bookie 層的規模,並分別估算 journal 與 ledger 裝置的需求
- 依據 topic、分割區與 ledger 數量,規劃 ZooKeeper 或 etcd 中繼資料儲存的規模與設定
- 為長期保留的 topic 設定分層卸載門檻,並規劃物件儲存的規模
- 在需要多區域傳遞時,規劃異地複寫拓撲並建立跨區域頻寬模型
- 依故障域與機架感知規劃配置,讓 ensemble 的選擇能承受單一可用區或機架的失效
成效
客戶取得的是逐層的規模規劃,每一層都依據真正限制它的需求推導而來,而不是從訊息速率等比放大的單一節點數量。既有部署通常會發現,至少有一個被回報的容量問題其實是設定問題,就算增加硬體也解決不了。