このページの内容
ストリームの要点
ストリームの要点
ストリームは、コンシューマーがメッセージを削除せずに読み取る、レプリケートされた追記専用のログです。ファンアウト、リプレイ、高スループット、大量のバックログにはストリームを使い、デッドレター、TTL、優先度、あるいはfsyncレベルの耐久性が必要な場合はクォーラムキューを使います。x-queue-typeをstreamに設定して宣言し、初日からmax-ageまたはmax-length-bytesを設定します。すべてのコンシューマーにプリフェッチとオフセットを指定し、奇数台のノードで運用し、レプリカは自分で管理します。そして、パブリッシャー確認は「レプリケートされた」ことを意味し、「ディスクにフラッシュされた」ことではない点を忘れないでください。
RabbitMQのストリームとは
ストリームは、RabbitMQの中でクラシックキューやクォーラムキューと並んで存在する、永続的でレプリケートされた追記専用のログです。違いはメッセージの出ていき方にあります。ストリームからメッセージが出ていくことはありません。キューからコンシュームするとメッセージは削除されますが、ストリームからコンシュームしても、そのコンシューマーの読み取り位置が進むだけです。そのため、保持期間が切れて消えるまで、何台のコンシューマーでも同じメッセージを何度でも読み取れます。RabbitMQのドキュメントでは、これを非破壊的なコンシューマーセマンティクスと呼んでいます。ストリームは常に永続的で、常にレプリケートされます。一時的(transient)なバリエーションはありません。
ストリームが適している場合と、適していない場合
ストリームは、従来のキュータイプが苦手とする4つのケースのために作られました。大規模なファンアウト(多数のコンシューマーが、それぞれ専用のキューを持たずに同じメッセージを読む)、リプレイ(ログの任意の位置に接続し、そこから読む)、スループット(ログベースのシステムに対抗することが設計目標でした)、そして大量のバックログ(キューは空に収束するよう最適化されていますが、ストリームは最小限のメモリで数百万件のメッセージを保持します)です。
キューの機能が必要な場合、ストリームは適していません。ストリームは、デッドレターエクスチェンジ、メッセージTTL、キューの長さ制限、メッセージやコンシューマーの優先度、排他的な宣言、非永続的な宣言をサポートしていません。ドキュメントには、これらの多くは非破壊的な読み取りモデルのため今後もサポートされないと明記されています。ワークロードがリトライとデッドレターを伴う作業の分散であれば、クォーラムキューを選ぶべきです。
RabbitMQのストリームとキューの比較:
| キュー(クォーラムまたはクラシック) | ストリーム | |
|---|---|---|
| メッセージの読み取り方 | 破壊的:確認応答されたメッセージは削除される | 非破壊的:コンシューマーはオフセットから読み取り、メッセージは残る |
| 多数のコンシューマーが同じデータを読む場合 | コンシューマーごとにキューを用意し、それぞれがコピーを持つ | 1つのストリームを任意の数のコンシューマーで読める |
| リプレイ | 不可 | 可能。保持期間内の任意のオフセットから |
| メッセージが残る期間 | コンシュームされるまで、またはTTLや長さ制限で削除されるまで | max-ageまたはmax-length-bytesで期限切れになるまで |
| デッドレター、メッセージTTL、優先度 | クォーラムキューでサポート | 非サポート |
| 大量のバックログ | 空に収束するよう設計 | 数百万件のメッセージを保持するよう設計 |
ストリームの宣言と保持期間の設定
x-queue-type引数をstreamに設定してキューを宣言します。タイプは宣言時にクライアントが指定する必要があり、ポリシーで設定や変更はできません。ストリームもAMQP 0.9.1のキューであることに変わりはないため、通常のキューと同じように任意のエクスチェンジにバインドできます。
追記専用のログはディスクがいっぱいになるまで増え続けるため、保持期間は初日に設定してください。設定項目は2つで、併用でき、ポリシーで変更できます。max-age(単位はY、M、D、h、m、sで、7Dなら1週間)とmax-length-bytesです。保持期間はセグメントファイル単位で評価され、デフォルトのセグメントサイズは500 MBです。そのため、ストリームは常に少なくとも1つのセグメントを保持し、設定した上限を最大で1セグメント分上回ることがあります。ディスクは上限だけでなく、上限にストリームごとの1セグメント分を加えた容量でサイジングしてください。
コンシューム:オフセット、プリフェッチ、確認応答
コンシューマーはx-stream-offset引数で読み取りの開始位置を選びます。first、last(最後に書き込まれたチャンク)、next(デフォルト:新しいメッセージのみ)、数値のオフセット、タイムスタンプ、あるいは1hのような期間です。タイムスタンプはチャンクの境界に丸められるため、指定した時刻より少し前にパブリッシュされたメッセージを受け取ることがあります。
キューから移行するチームがつまずくルールが2つあります。1つ目は、コンシューマーがQoSのプリフェッチを必ず設定する必要があることで、確認応答も必須です。ストリームでは、確認応答がコンシューマーのオフセットを進めるクレジットとして機能します。2つ目は、グローバルQoSがサポートされていないことです。グローバルプリフェッチを設定したチャネルでストリームからコンシュームすると、チャネルエラーが返されます。コンシューマーごとのプリフェッチを使ってください。
AMQP 0.9.1か、ストリームプロトコルか
キューとコンシューマーの引数を渡せるAMQP 0.9.1クライアントであれば、どれでもストリームを利用できます。それでもRabbitMQチームは、専用のバイナリのストリームプロトコルとそのクライアントを推奨しています。理由は2つあり、スループットが最も高いことと、一部の機能がそちらでしか使えないことです。ブローカー側でのオフセットの追跡はその1つで、ストリームプラグインを通じてのみ利用でき、オフセットはメッセージ以外のデータとしてストリーム自体に保存されます。パブリッシャーの重複排除もその1つです。名前付きのプロデューサーが厳密に増加するパブリッシングIDを使うことで、クラッシュ後に再送されたメッセージをブローカーが除外できます。ただし、その名前を同時に使うプロデューサーのインスタンスが1つだけであることが条件です。
知っておくべき副作用が1つあります。メッセージはAMQP 1.0のデータとして保存されるため、配列やテーブルのような複雑な値を持つAMQP 0.9.1のヘッダーは変換されません。
スーパーストリームとシングルアクティブコンシューマー
スーパーストリームは、複数の通常のストリームにパーティション分割された論理的なストリームで、ストレージとトラフィックをクラスターのノードに分散します。クライアントライブラリは、これを1つのストリームとして扱います。名前付きグループ内で1つのインスタンスだけがメッセージを受け取り、それが停止すると別のインスタンスが引き継ぐシングルアクティブコンシューマーと組み合わせれば、パーティションごとの順序を保った処理とフェイルオーバーを実現できます。どちらもRabbitMQ 3.11で導入されました。CLIでは1行でトポロジーを作成できます:rabbitmq-streams add_super_stream invoices --partitions 3
ドキュメント自身が勧めているのは慎重さです。スーパーストリームは複雑さを増すため、単一のストリームが限界に達してから初めて使うべきだとしています。
ストリームの運用:レプリカ、クォーラム、メモリ
ストリームはクォーラム方式のシステムなので、クラスターは奇数台で構成します。3ノードなら1台、5ノードなら2台の障害に耐えられますが、2ノードのクラスターは1台の障害にも耐えられません。レプリカのメンバー構成は運用者が管理します。クラスターに追加したノードは、rabbitmq-streams add_replicaを実行するまでストリームのレプリカを一切ホストしません。また、廃止するノードは、そのノードがホストしているすべてのストリームからdelete_replicaで削除する必要があります。レプリケーションの状態はrabbitmq-streams stream_statusで確認します。ノードを入れ替える場合は、新しいノードを追加し、同期が完了するのを待ってから古いノードを削除します。別のレプリカが同期していない間は、レプリカを追加できません。
ストリームがブローカー内で使うRAMはわずかですが、カーネルのページキャッシュに大きく依存します。コンテナではこのページキャッシュがメモリ制限に含まれるため、正常なストリームのワークロードでもPodがOOM Killされることがあります。また、ストリームはメモリアラームに反応しません。使える中で最も高速なディスクを使ってください。スループットは、メッセージサイズとレプリカ数が増えるほど低下します。
データの安全性:ストリームでのパブリッシャー確認の意味
ストリームでのパブリッシャー確認は、メッセージがクォーラムを構成するレプリカにレプリケートされたことを意味します。ディスクにフラッシュされたことを意味するわけではありません。ストリームはディスクに書き込みますがfsyncは行わず、それをオペレーティングシステムに任せています。そのため、制御されていないシャットダウンが起きると、そのノード上の直近のデータが失われる可能性があります。通常は他のレプリカから再レプリケートされます。ドキュメントのガイダンスは明快で、より強い保証が必要ならクォーラムキューを使うべきだとしています。クォーラムキューは、クォーラムが書き込みとフラッシュを完了してから初めて確認を返します。パブリッシャー確認なしでパブリッシュされたメッセージには、何の保証もありません。
ストリームを利用できない環境
設計の前に、プラットフォームを確認してください。Amazon MQ for RabbitMQはストリームをサポートしておらず、ストリームを作成するとデータ損失につながると、そのドキュメントで警告しています。ストリームを使うには、セルフマネージドのRabbitMQ、専門のホスティング事業者、あるいは自社アカウント内で運用代行されるブローカーが必要です。
よくある質問
RabbitMQのストリームとキューの違いは何ですか?
キューは、コンシューマーが確認応答した時点でメッセージを削除するため、各メッセージは1回だけ処理され、キューは空になっていきます。ストリームは保持期間が切れるまでメッセージを保持し、コンシューマーはオフセットから読み取るため、多数のコンシューマーが同じメッセージを読み、リプレイすることもできます。キューにはデッドレター、TTL、優先度がありますが、ストリームにはありません。
RabbitMQのストリームとは何ですか?
RabbitMQの中にある、永続的でレプリケートされた追記専用のログです。コンシューマーはメッセージを削除せずに読み取るため、保持期間が切れるまで、多数のコンシューマーが同じデータを読み、任意のオフセットから読み直すことができます。x-queue-typeをstreamに設定して宣言します。
クォーラムキューではなくストリームを使うべきなのはどんなときですか?
大規模なファンアウト、リプレイ、非常に高いスループット、大量のバックログにはストリームを使います。デッドレター、TTL、優先度、あるいは最も強い耐久性が必要な作業の分散にはクォーラムキューを使います。クォーラムキューはクォーラムがディスクへのフラッシュを完了してから確認を返しますが、ストリームはfsyncを行わないためです。
RabbitMQのストリームでディスクがいっぱいになるのを防ぐにはどうすればよいですか?
キューの引数またはポリシーで、max-age、max-length-bytes、またはその両方を使って保持期間を設定します。保持期間はセグメント単位で適用され、デフォルトのセグメントは500 MBなので、ストリームごとに少なくとも1セグメント分の余裕を見込んでおいてください。
RabbitMQのストリームはデッドレターエクスチェンジやTTLをサポートしていますか?
いいえ。ストリームは、デッドレターエクスチェンジ、メッセージTTL、キューの長さ制限、優先度、排他的な宣言や非永続的な宣言をサポートしていません。TTLと長さ制限の代わりに、保持期間の設定を使います。
Amazon MQはRabbitMQのストリームをサポートしていますか?
いいえ。Amazon MQの開発者ガイドには、ストリームはサポートされておらず、作成するとデータ損失につながると記載されています。