概要
Pulsarのブローカーは、Bookieのackクォーラムが確認した時点で書き込みを確認応答します。そのため、各アンサンブルで最も遅いBookieがレイテンシーの下限を決めます。ジャーナルデバイスが飽和したノードが1台あるだけで、そのノードにレジャーが載っているすべてのトピックの書き込みレイテンシーが悪化します。AceMQは、そのBookieを切り離し、その下のストレージ構成を修正します。
課題
よくある根本原因は、ジャーナルとレジャーのデータが同じデバイスを共有していることです。ジャーナルには低レイテンシーのシーケンシャルなfsyncが必要であり、レジャーデバイスは大きなシーケンシャル書き込みと定期的なコンパクションを行います。両者が1つのディスクに同居すると競合が起き、ジャーナルのfsyncのレイテンシーが上がり、クラスター全体でadd-entryのレイテンシーが上昇します。遅いノードに対する余裕のないアンサンブルとクォーラムの構成、小さすぎる書き込みキャッシュ、そしてライブトラフィックと競合するエントリーログのガベージコレクションも、その一因となります。
環境
KubernetesまたはベアメタルでBookKeeperを使用するApache Pulsar。メタデータにはZooKeeperまたはetcdを使用し、オブジェクトストレージへの階層型オフロードを利用しています。
アプローチ
AceMQは、Bookieごとのジャーナルのfsyncとadd-entryのレイテンシーをブローカー側のパブリッシュのレイテンシーと相関分析して、下限を決めているノードを特定し、原因がデバイスの競合なのか、キャッシュのサイジングなのか、コンパクションなのかを確認します。即時の対応としてそのBookieを新しいアンサンブルから切り離し、恒久的な対策としてジャーナルとレジャーのデバイスを分離し、キャッシュとコンパクションを再調整します。
ソリューション
- Bookieごとのジャーナルのfsyncとadd-entryのレイテンシーをブローカーのパブリッシュのレイテンシーと相関分析し、制約となっているノードを特定
- 適切なストレージクラスと独立したIOPSの予算を割り当てて、ジャーナルとレジャーのデバイスを分離
- 書き込みキャッシュ、先読みキャッシュ、ダイレクトメモリのサイズを、実際のワーキングセットとJVMヒープに合わせて調整
- エントリーログのガベージコレクションとコンパクションのしきい値を調整し、領域の回収がライブの書き込みと競合しないように変更
- アンサンブル、書き込みクォーラム、ackクォーラムの構成を、遅いノードがあっても書き込みが止まらないように設定
- レプリカ数不足のレジャーの復旧を含め、自動リカバリーとBookieの交換手順を検証
結果
制約となっていたBookieを切り離してストレージ構成を修正すると、クラスター全体のパブリッシュのレイテンシーはベースラインに戻ります。クォーラムの構成を見直したことで、次に遅いノードが現れても、クラスターが止まるのではなく緩やかな劣化にとどまります。