概要
あるB2B SaaSプロバイダーでは、顧客数の増加に伴い、テナントごとにインデックスを持つモデルがスケールしなくなっていました。AceMQは、分離の保証を維持しながら、クラスターが管理しなければならないシャード数を削減するテナントアーキテクチャを設計しました。
課題
テナントごとに1つのインデックスを持ち、シャードの設定もデフォルトのままだったため、ほとんどのインデックスにはごくわずかなデータしか入っていない一方で、クラスターはそのすべてのメタデータのコストを抱えていました。クラスターステートは、あらゆるアロケーションの判断を遅らせるほど肥大化していました。同時に、少数の大規模テナントが検索のスレッドプールを独占し、他のすべてのテナントでキューの拒否を引き起こすことがありました。つまり、テナントごとにインデックスを持つモデルが提供するはずだった分離が、負荷がかかると実際には機能していなかったのです。
環境
Kubernetes上のOpenSearch。数千のテナントを抱え、その規模は数千ドキュメントから数億ドキュメントまでさまざまです。
アプローチ
当社は階層型のモデルを設計しました。小規模なテナントはルーティングキーとドキュメントレベルのセキュリティを使って共有のプールインデックスを利用し、大規模なテナントはデータ量に合わせてサイジングした専用のインデックスを維持します。あわせて、1つのテナントが共有のスレッドプールを使い果たせないよう検索レベルのガバナンスを追加し、テナントの成長に応じて専用インデックスへ昇格させる経路を定義しました。
ソリューション
- 小規模テナント向けの共有プールインデックスと、大規模テナント向けの専用インデックスを分ける階層型のインデックス戦略
- 共有インデックス内でもテナントの分離を保つための、カスタムルーティングとドキュメントレベルのセキュリティ
- テナントの成長に応じて共有プールから専用インデックスへ移すための昇格基準と、テスト済みの再インデックスの手順
- 1つの重いテナントが他のテナントのリソースを奪わないようにするための、検索スレッドプールのサイジング、キューの上限、テナントごとの同時実行制御
- タイムアウト、結果サイズの上限、アプリケーション層へ返す拒否の処理を含むクエリのガバナンス
- クラスターとインデックスのテンプレートをコードで管理し、テナントのオンボーディングをエンドツーエンドで自動化
結果
小規模テナントをプールにまとめた結果、シャード数はおよそ1桁減少し、クラスターステートの操作は再び高速になりました。ピーク時間帯の検索キューの拒否はほぼなくなり、新しいテナントのオンボーディングは、手作業でのインデックス作成ではなく自動化された手順になりました。