概要
Pulsarは配信とストレージを分離しており、それが運用上の柔軟性の源であると同時に、サイジングの複雑さの源でもあります。ブローカーのキャパシティ、Bookieのキャパシティ、メタデータのキャパシティは、それぞれ異なる要因に応じてスケールし、キャパシティ不足のデプロイの多くは、Bookieの層の見積もりを誤っています。AceMQは、計測した要件に基づいて各層をサイジングします。
課題
メッセージレートに注目するサイジングでは、実際に制約となる条件を見落とします。書き込みクォーラムは生のストレージ量にレプリケーション係数を掛けるため、保持期間は想定よりはるかに速くBookieのディスクを消費します。ジャーナル用のデバイスに必要なのは容量ではなく、低レイテンシのfsyncです。トピック数とパーティション数は、スループットとは無関係に、ZooKeeperやetcdの負荷とブローカーのメモリを左右します。ジオレプリケーションは、予算にほとんど組み込まれていないリージョン間の帯域を追加で必要とします。
環境
Kubernetes、ベアメタル、ハイブリッドのインフラ上の新規または拡張中のApache Pulsarのデプロイで、オブジェクトストレージへの階層型オフロードを行う環境。
アプローチ
AceMQは、計測値または予測値のスループット、保持期間、耐久性、トピックの数から要件を導き出し、各層をそれを制約する要因に基づいてサイジングします。すでに稼働しているデプロイの場合は、現在の使用率をプロファイリングし、本当のキャパシティの限界と、ハードウェアを増やしても解決しない設定の問題とを切り分けます。
ソリューション
- 接続数、トピックの数、ディスパッチのスループット、キャッシュのワーキングセットに基づくブローカー層のサイジング
- 保持期間に書き込みクォーラムとackクォーラムを適用し、ジャーナルとレジャーのデバイス要件を分けたBookie層のサイジング
- トピック数、パーティション数、レジャー数に基づくZooKeeperまたはetcdのメタデータストアのサイジングと設定
- 長期保持のトピックに対する階層型オフロードのしきい値と、オブジェクトストレージのサイジング
- マルチリージョンでの配信が必要な場合の、ジオレプリケーションのトポロジーとリージョン間の帯域のモデリング
- ゾーンやラックが失われてもアンサンブルの選択が維持されるような、障害ドメインとラックアウェアネスを考慮した配置
結果
お客様は、メッセージレートから単一のノード数を割り出すのではなく、それぞれの層を実際に制約している要件から導き出した、層ごとのサイジングを手にします。すでに稼働しているデプロイでは、報告されていたキャパシティの問題のうち少なくとも1つが、ハードウェアを追加しても解決しなかったであろう設定の問題だと分かることがほとんどです。