導入事例の一覧に戻る

是正対応金融サービス・決済

Pulsarでは、1台のBookieの不調がクラスター全体の書き込みレイテンシーを押し上げる

グローバル決済代行企業

Bookieのジャーナルデバイスとレジャーデバイスの競合によって生じていたクラスター全体の書き込みレイテンシーを解消し、書き込みクォーラムの余裕を取り戻しました。

概要

Pulsarのブローカーは、Bookieのackクォーラムが確認した時点で書き込みを確認応答します。そのため、各アンサンブルで最も遅いBookieがレイテンシーの下限を決めます。ジャーナルデバイスが飽和したノードが1台あるだけで、そのノードにレジャーが載っているすべてのトピックの書き込みレイテンシーが悪化します。AceMQは、そのBookieを切り離し、その下のストレージ構成を修正します。

課題

よくある根本原因は、ジャーナルとレジャーのデータが同じデバイスを共有していることです。ジャーナルには低レイテンシーのシーケンシャルなfsyncが必要であり、レジャーデバイスは大きなシーケンシャル書き込みと定期的なコンパクションを行います。両者が1つのディスクに同居すると競合が起き、ジャーナルのfsyncのレイテンシーが上がり、クラスター全体でadd-entryのレイテンシーが上昇します。遅いノードに対する余裕のないアンサンブルとクォーラムの構成、小さすぎる書き込みキャッシュ、そしてライブトラフィックと競合するエントリーログのガベージコレクションも、その一因となります。

環境

KubernetesまたはベアメタルでBookKeeperを使用するApache Pulsar。メタデータにはZooKeeperまたはetcdを使用し、オブジェクトストレージへの階層型オフロードを利用しています。

アプローチ

AceMQは、Bookieごとのジャーナルのfsyncとadd-entryのレイテンシーをブローカー側のパブリッシュのレイテンシーと相関分析して、下限を決めているノードを特定し、原因がデバイスの競合なのか、キャッシュのサイジングなのか、コンパクションなのかを確認します。即時の対応としてそのBookieを新しいアンサンブルから切り離し、恒久的な対策としてジャーナルとレジャーのデバイスを分離し、キャッシュとコンパクションを再調整します。

ソリューション

  1. Bookieごとのジャーナルのfsyncとadd-entryのレイテンシーをブローカーのパブリッシュのレイテンシーと相関分析し、制約となっているノードを特定
  2. 適切なストレージクラスと独立したIOPSの予算を割り当てて、ジャーナルとレジャーのデバイスを分離
  3. 書き込みキャッシュ、先読みキャッシュ、ダイレクトメモリのサイズを、実際のワーキングセットとJVMヒープに合わせて調整
  4. エントリーログのガベージコレクションとコンパクションのしきい値を調整し、領域の回収がライブの書き込みと競合しないように変更
  5. アンサンブル、書き込みクォーラム、ackクォーラムの構成を、遅いノードがあっても書き込みが止まらないように設定
  6. レプリカ数不足のレジャーの復旧を含め、自動リカバリーとBookieの交換手順を検証

結果

制約となっていたBookieを切り離してストレージ構成を修正すると、クラスター全体のパブリッシュのレイテンシーはベースラインに戻ります。クォーラムの構成を見直したことで、次に遅いノードが現れても、クラスターが止まるのではなく緩やかな劣化にとどまります。

使用テクノロジー

Apache PulsarApache BookKeeperKubernetesZooKeeper

Apache Pulsarの本番環境で問題が発生していますか?

AceMQのシニアApache Pulsarエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。