概要
Pulsarのテナントとネームスペースのモデルは、ネームスペースごとのクォータ、保持期間、認可、レート制限によって、チーム間の本当の意味での分離を実現します。ただし、分離の度合いはポリシーの設計次第で、デフォルトのポリシーではほとんど分離されません。AceMQは、その構成と、それに伴うポリシー一式を設計します。
課題
ネームスペースを設計せずに構築した共有クラスターでは、結局すべてがデフォルトのポリシーのまま1つのネームスペースに収まってしまいます。あるチームの無制限の保持設定がクラスター全体に必要なストレージを食いつぶし、あるチームの高スループットのトピックがレイテンシーに敏感なワークロードと共有するブローカーを飽和させ、認可も粗いためどのチームでもどのトピックでも消費できてしまいます。後から分離を組み込むにはトピックの移動が必要で、そのためにはすべてのコンシューマーとの調整が必要になります。
環境
複数の社内チームまたは外部テナントにサービスを提供する、Kubernetes上の共有Apache Pulsarクラスター。多くの場合、ジオレプリケーションを使用。
アプローチ
AceMQは、テナントとネームスペースを恣意的なグループ分けではなく、実際の所有関係と分離の境界に対応付けたうえで、保持期間、クォータ、レート制限、認可といったポリシー一式をネームスペースの区分ごとに定義します。ワークロードの分離をハードウェアのレベルまで広げる必要がある場合は、ブローカーのアイソレーショングループとバンドルの分散配置を活用します。
ソリューション
- 所有関係、データ分類、分離の要件に対応付けたテナントとネームスペースの階層
- 保持期間、バックログクォータ、メッセージTTL、重複排除をカバーする、ネームスペースごとのポリシーテンプレート
- 1つのテナントが共有ブローカーを飽和させないよう、ネームスペースの区分ごとにサイジングしたパブリッシュとディスパッチのレート制限
- ネームスペースごとのロールと、テナントごとのトークンまたはmTLSの認証情報による、認証と認可の設計
- 負荷の大きいワークロードをハードウェアのレベルで分離する必要がある場合の、ブローカーのアイソレーショングループとバンドルの割り当て
- 新しいテナントがデフォルトではなく設計を引き継げるようにする、オンボーディングのランブックとポリシー・アズ・コードの定義
結果
各チームはストレージやブローカーの容量を奪い合うことなくクラスターを共有でき、新しいテナントもデフォルトを引き継ぐのではなく、定義済みのポリシーテンプレートに沿ってオンボーディングされます。分離は慣習ではなく、ポリシーによって強制されています。