概要
ある市場データプロバイダーは、保存データ量を何倍にも増やす新たな取引所フィードの受け入れを進めていました。同社は、クラスターを比例して拡張するのではなく、本当に拡張が必要な部分と設定の誤りがある部分を見極めるため、AceMQに依頼しました。
課題
ClickHouseをうまくスケールさせるには、実際にどのリソースがボトルネックになるかを知る必要があります。マージのスループット、クエリの同時実行数、Keeperの調整負荷、ストレージの帯域幅は、それぞれ異なる形で限界を迎え、しばしば互いに取り違えられます。既存のクラスターは持続的な負荷のもとで一度もプロファイリングされたことがなく、どれが最初にボトルネックになるのか誰にもわかりませんでした。
環境
オンプレミスのハードウェアとクラウドのオブジェクトストレージにまたがるClickHouse。過去データと日中の市場データのクエリに対応。
アプローチ
AceMQは、合成ベンチマークではなく実運用を代表する持続的な負荷のもとでクラスターをプロファイリングし、マージのスループット、クエリのキューイング、Keeperのリクエストレイテンシー、ストレージの帯域幅を同時に追跡して、どれが最初に飽和するかを確認しました。得られた知見は、見込まれるデータ量の増加に対応付けました。
ソリューション
- 実運用を代表する持続的な負荷のもとでクラスターをプロファイリングし、最初に飽和するリソースを特定
- シャードとレプリカのトポロジーを、クエリのルーティングと耐障害性の要件に照らしてレビュー
- Keeperのデプロイ構成、リクエストレイテンシー、調整負荷を、それ自体が独立したスケーリングの制約として評価
- 階層型ストレージの構成と、古いパートのオブジェクトストレージへの移動を評価
- クエリの同時実行数の上限、キューイングの挙動、ユーザーごとのリソース制御をレビュー
- 見込まれるデータ量を、具体的なスケーリング施策とその実施順序に結び付けたキャパシティモデルを提供
結果
このプロバイダーは、クラスターを比例して拡張するのではなく、的を絞ったスケーリングで新たなフィードを受け入れました。ストレージよりも先にボトルネックになっていたはずの2つの制約、Keeperの調整とマージのスループットには、データ量が増える前に対処しました。