概覽
一家市場資料供應商即將接入更多交易所資料源,儲存量將成倍增加。他們沒有選擇等比例擴充叢集,而是委託 AceMQ 判斷哪些部分真的需要擴充、哪些其實只是設定錯誤。
挑戰
要妥善擴展 ClickHouse,必須知道真正的瓶頸在哪一項資源。合併吞吐量、查詢並行度、Keeper 協調負載與儲存頻寬,各有不同的失效方式,卻經常被彼此混淆。現有叢集從未在持續負載下進行剖析,因此沒有人知道哪一項會最先成為瓶頸。
環境
橫跨地端硬體與雲端物件儲存的 ClickHouse,服務歷史與盤中市場資料查詢。
做法
AceMQ 以具代表性的持續負載而非合成基準測試來剖析叢集,同時追蹤合併吞吐量、查詢排隊、Keeper 請求延遲與儲存頻寬,觀察哪一項最先飽和。所有發現都會對照預估的資料量成長。
解決方案
- 以具代表性的持續負載剖析叢集,找出最先飽和的資源
- 依查詢路由與容錯需求,檢視分片與複本拓撲
- 將 Keeper 部署、請求延遲與協調負載視為獨立的擴展限制加以評估
- 評估分層儲存設定,以及將較舊 part 移至物件儲存的機制
- 檢視查詢並行上限、排隊行為與每位使用者的資源控管
- 交付容量模型,將預估資料量對應到具體的擴展行動及其執行順序
成效
該供應商以針對性的擴展、而非等比例擴充叢集的方式,順利接入了新增的資料源。兩項會比儲存更早成為瓶頸的限制,也就是 Keeper 協調與合併吞吐量,都在資料量增加之前就已處理完畢。