返回所有使用案例

評估金融服務/交易

在資料湧入之前,先知道叢集會在哪裡撐不住

金融市場資料供應商

在資料量大幅增加之前,評估分片與複本拓撲、儲存分層、查詢並行上限與合併(merge)行為。

概覽

一家市場資料供應商即將接入更多交易所資料源,儲存量將成倍增加。他們沒有選擇等比例擴充叢集,而是委託 AceMQ 判斷哪些部分真的需要擴充、哪些其實只是設定錯誤。

挑戰

要妥善擴展 ClickHouse,必須知道真正的瓶頸在哪一項資源。合併吞吐量、查詢並行度、Keeper 協調負載與儲存頻寬,各有不同的失效方式,卻經常被彼此混淆。現有叢集從未在持續負載下進行剖析,因此沒有人知道哪一項會最先成為瓶頸。

環境

橫跨地端硬體與雲端物件儲存的 ClickHouse,服務歷史與盤中市場資料查詢。

做法

AceMQ 以具代表性的持續負載而非合成基準測試來剖析叢集,同時追蹤合併吞吐量、查詢排隊、Keeper 請求延遲與儲存頻寬,觀察哪一項最先飽和。所有發現都會對照預估的資料量成長。

解決方案

  1. 以具代表性的持續負載剖析叢集,找出最先飽和的資源
  2. 依查詢路由與容錯需求,檢視分片與複本拓撲
  3. 將 Keeper 部署、請求延遲與協調負載視為獨立的擴展限制加以評估
  4. 評估分層儲存設定,以及將較舊 part 移至物件儲存的機制
  5. 檢視查詢並行上限、排隊行為與每位使用者的資源控管
  6. 交付容量模型,將預估資料量對應到具體的擴展行動及其執行順序

成效

該供應商以針對性的擴展、而非等比例擴充叢集的方式,順利接入了新增的資料源。兩項會比儲存更早成為瓶頸的限制,也就是 Keeper 協調與合併吞吐量,都在資料量增加之前就已處理完畢。

技術

ClickHouseClickHouse KeeperS3Prometheus

準備好進行 ClickHouse 健康檢查了嗎?

AceMQ 的資深 ClickHouse 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。