On this page
答えは「はい」です。Redisのメッセージキューは現実的な選択肢であり、構築方法は3つあります。シンプルな処理の分配に使うList、何も保存しない送りっぱなしのブロードキャストに使うPub/Sub、そしてACKとat-least-onceの配信を備えたコンシューマーグループを使うStreamsです。実際のブローカーのように動作するのはStreamsだけです。どの方法でも、ルーティング、メッセージごとのTTL、優先度、デッドレターは手放すことになり、これらは最終的に自分たちで実装することになります。
Redisでそれができるかどうかが問われることはまずありません。できるからです。問題は、初めて何かが障害を起こしたときに何が起きるかです。
List、Pub/Sub、Streamsの比較
| List | Pub/Sub | Streams | |
|---|---|---|---|
| パターン | ワークキュー | ブロードキャスト | コンシューマーグループ付きのログ |
| キースペースへの永続化 | あり | なし | あり |
| 配信保証 | デフォルトではat-most-once | at-most-once | グループ使用時はat-least-once |
| ACK | 組み込みの仕組みなし | なし | XACKとペンディングリスト |
| コンシューマーグループ | なし | なし | あり |
| 履歴のリプレイ | 不可(ポップしたら消える) | 不可 | 可能(IDの範囲指定) |
| 複数の独立した読み手 | 不可 | 可能(全員がコピーを受信) | 可能(グループ単位) |
| 主な用途 | バックグラウンドジョブ | キャッシュの無効化、通知 | 永続性が必要なイベント処理 |
この記事から1つだけ持ち帰るとしたら、これです。Pub/Subは設計上メッセージを失います。これはバグではありません。Redis自身のドキュメントにも、はっきりそう書かれています。
Redis Listはメッセージキューとして使えるか
はい。これはRedisのメッセージキューとして最も古くからあるパターンで、今でも多くのバックグラウンドジョブ処理にとって正しい答えです。
プロデューサーはLPUSHでプッシュします。ワーカーはBRPOPでブロックし、ポーリングするのではなくアイテムが届くのを待ちます。同じキーを複数のワーカーが取り合い、各アイテムはそのうちの1つだけに渡ります。すでに運用しているインフラ上で、2つのコマンドだけでワークキューができあがります。
LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0障害のパターンは見てのとおりです。BRPOPはアイテムを削除してワーカーに渡します。そのワーカーが処理の途中でダウンすると、アイテムは失われます。処理中だったことを把握している仕組みはなく、再配信されることもありません。
対策はreliable queueパターンです。アイテムをポップする代わりに、BLMOVE(または古いBRPOPLPUSH)でワーカーごとの処理中リストへアトミックに移し、処理が終わったらそのリストから削除します。処理中リストに残ったアイテムは回収できます。
この方法は機能しますし、これで動いている本番システムもたくさんあります。ただし、自分たちが何を作ったのかには注意してください。ACKの仕組み、放置された処理中リストを検出する回収プロセス、そしてリトライのポリシーです。これらはブローカーの機能であり、今やアプリケーションの中にあって、自分たちのチームが保守し、自分たちがテストした範囲でしか検証されていません。
Redis Pub/Subは配信を保証するか
いいえ。そしてこれこそ、Redisのメッセージキューだと最も誤解されやすく、かつその役割に最も向いていない仕組みです。
SUBSCRIBEはチャネルへの関心を登録し、PUBLISHはその時点でサブスクライブしている全員に送信します。それが何を意味するのか、Redisのドキュメントは明確に述べています。
RedisのPub/Subはat-most-onceのメッセージ配信セマンティクスを持ちます。その名のとおり、メッセージは配信されるとしても1回だけという意味です。Redisサーバーがいったんメッセージを送信すると、再送される可能性はありません。サブスクライバーがメッセージを処理できなかった場合(たとえばエラーやネットワークの切断によって)、そのメッセージは永久に失われます。
何も保存されません。再起動中、デプロイ中、一時的にネットワークが分断されている、あるいは単に処理が遅いサブスクライバーは、その間にパブリッシュされたものをすべて永久に取りこぼし、そうなったことを知らせるシグナルもありません。
そのためPub/Subは、限られた用途には非常に適しています。キャッシュの無効化、ライブダッシュボードの更新、プレゼンス通知など、次のメッセージが届けば取りこぼしたメッセージが意味を失うものです。一方で、注文処理、決済、あるいは後になって説明を求められるようなものには向きません。
役に立つ点を2つ補足します。Pub/Subはキースペースとは無関係なので、データベース10でパブリッシュしたメッセージがデータベース1のサブスクライバーにも届きます。環境ごとに分ける必要があるなら、チャネル名にプレフィックスを付けてください。また、クラスター構成では、シャード化Pub/Sub(SSUBSCRIBE、SPUBLISH)を使うと、メッセージをクラスターバス全体に伝播させるのではなく1つのシャード内に限定できます。これが水平方向にスケールさせる方法です。
Redis StreamsならRedisは本物のメッセージキューになるか
Redisでできるのはここまでです。Streamsを使うと、Redisは無理やりキューとして使うデータ構造ではなくなり、処理パイプラインを無理なく運用できるものになります。
XADDはエントリーを追記し、<milliseconds>-<sequence>形式の時系列順のIDを返します。エントリーはキースペースに永続化されます。XREADは新しいエントリーが届くまでブロックできます。コンシューマーはXRANGEで過去の範囲を読み取れます。
本当の目玉はコンシューマーグループです。
XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0各エントリーはグループ内の1つのコンシューマーに渡り、複数のグループが同じストリームをそれぞれ独立して消費できます。配信されたエントリーは、XACKでACKされるまで、そのグループのPending Entries Listに残ります。滞留状況はXPENDINGで確認できます。未処理のエントリーを抱えたままコンシューマーがダウンした場合は、別のコンシューマーがXCLAIMまたはXAUTOCLAIMで所有権を引き取り、処理を完了できます。
この組み合わせでat-least-onceの配信が実現します。コンシューマーが障害を起こしても何も失われませんが、クラッシュの直前に処理されたエントリーが再配信されることがあります。コンシューマーは冪等でなければなりません。これはat-least-onceのブローカーならどれでも課される要件であり、Redisの欠点ではありません。ただ、二重課金が発生するまで忘れられがちなだけです。
Streamsは上限を設けない限り際限なく大きくなります。XADDはMAXLENを受け付け、事後にはXTRIMで対応できます。~形式はおおよその位置でトリミングするもので、正確なトリミングよりも大幅に低コストです。MINIDは件数ではなくエントリーIDでトリミングするため、時間ベースの保持に適しています。どれを使うかは設計の段階で決めてください。インメモリストアの中で上限のないストリームは、時限式のメモリ枯渇インシデントです。
本物のブローカーと比べて何を手放すのか
Redis Streamsは配信保証の差を埋めます。しかし、それ以外の差は埋まりません。
- ルーティング。RabbitMQでは、パブリッシャーとキューの間にExchangeが入ります。direct、topic、fanout、headersの各Exchangeが、ルーティングキーや属性に基づいてメッセージの行き先を設定として決定します。Redisにはこれに相当するものがなく、パブリッシャーは名前付きのキーに書き込むだけです。コンテンツベースのルーティングはすべて自分で書くコードになり、トポロジーと同期させ続けなければならないものがもう1つ増えます。
- メッセージごとのTTL。RabbitMQは、
expirationプロパティによるメッセージごとのTTLと、キューごとのTTLをサポートしており、両方が設定されている場合は短いほうが適用されます。注意点についても正直に記載しています。「期限切れのメッセージが実際に破棄されるのは、それがキューの先頭に到達したときだけです」。RedisのTTLはキー全体に適用されるもので、リストの個々のアイテムやストリームの個々のエントリーには適用されません。あるメッセージだけを期限切れにして、隣のメッセージはそのままにするということは、Redisにはできません。 - 優先度。RabbitMQは優先度付きキューをサポートしています。Redisには、リストのアイテムやストリームのエントリーに対する優先度の概念がありません。これを模倣するには、複数のキーと、それを順番に確認するワーカーが必要になり、ブローカーがすでに解決したスタベーションの問題を再び持ち込むことになります。
- デッドレター。RabbitMQは、拒否、TTLの期限切れ、キューの長さの上限、クォーラムキューの配信回数の上限超過のいずれかが起きると、自動的にデッドレターに送ります。Redis Streamsが提供するのは素材だけです。
XPENDINGで何が滞留しているかがわかり、配信回数も記録されます。しかし、ポイズンメッセージを隔離用のストリームに振り分けること、リトライに上限を設けること、それに対してアラートを出すことは、すべて自分たちのコードで行います。 - 配信回数のカウントとリトライのポリシー。前の項目と関連しますが、分けて考える価値があります。ブローカーでは配信回数の上限は設定項目の1つです。Redisでは、カウンターを読み取ってどうするかを自分で判断し、それをあらゆる場所で、一貫して、ずっと続けなければなりません。
だからといって、Redisが誤った選択になるわけではありません。選択がトレードオフになるということです。別のシステムを運用しなくて済む代わりに、他の製品なら最初から備わっている機能を自分たちで所有することを受け入れるのです。
永続化にはどんな注意点があるか
Redisは、ディスクに書き込みを行うインメモリストアです。クラッシュ時にどれだけ失うかは設定次第であり、Redis自身が公表している数字を知っておく価値があります。
- RDBは、設定したセーブポイントで、ある時点のスナップショットを取得します。どれだけのリスクがあるかについて、Redisのドキュメントは率直です。「通常、RDBスナップショットは5分以上の間隔で作成するため、何らかの理由でRedisが正しくシャットダウンされずに停止した場合は、直近数分のデータが失われることを覚悟しておくべきです」。スナップショットの取得ではプロセスのforkも発生し、データセットが大きいと、このforkによってサーバーが一時的に停止することがあります。これは実際の運用に影響する現象で、他の障害パターンとあわせてRedisの高可用性の記事で取り上げています。
- AOFはすべての書き込みコマンドをログに記録し、3つのfsyncポリシーを持ちます。
appendfsync alwaysは最も安全ですが最も低速です。appendfsync everysecは推奨されるデフォルトで、Redisによれば「障害が起きた場合、1秒分のデータを失う可能性があります」。appendfsync noはカーネルに任せます。
リレーショナルデータベースに匹敵する永続性が必要なら両方を使う、というのがRedisの推奨です。キューイングにとっては、次の2つの影響があります。
- プロデューサーにACKを返したメッセージが、ディスクに書き込まれているとは限りません。
everysecでは、受け付けたもののまだ書き込まれていない処理が、常に最大1秒分存在します。 - レプリケーションは非同期です。プライマリに障害が起きると、ACK済みでまだレプリケートされていない書き込みが失われることがあります。これは、Redisが速度のためにあらゆる場面で行っているのと同じトレードオフです。
「このメッセージは絶対に失われてはならない」という要件であれば、Redisをそれに近い設定にすることはできますが、その代償はレイテンシーで支払うことになります。また、設定は思い込みに頼らず、きちんと検証すべきです。
Redisが本当に正しい選択になるのはどんなときか
次のような場合は、キューイングにRedisを使いましょう。
- Redisがすでにアーキテクチャに組み込まれていて、ブローカーを追加すると運用の負担が増える
- トポロジーがシンプルで、プロデューサーから1つのワーカープールへ流すだけで、コンテンツベースのルーティングがない
- 配信保証よりもレイテンシーが重要で、失われたジョブを再実行すれば済む
- 流量が多く、メッセージの寿命が短い。まさにインメモリストアが得意とする領域
- ACK、リトライ、デッドレターのロジックをアプリケーションのコードで持つことに、チームが抵抗を感じない
次のような場合は、RabbitMQを使いましょう。
- ルーティングが複雑で、コードで書くより設定で管理したい
- メッセージごとのTTL、優先度、デッドレターをブローカーの機能として使いたい
- 配信保証がコンプライアンス文書や顧客との契約に記載される
- 同じパブリッシャーのメッセージのうち、コンシューマーごとに異なるサブセットが必要
- 管理UI、キューごとのメトリクス、ポリシーといった運用ツールを、自分たちで作らずに使いたい
これらは二者択一ではありません。実際、最も堅牢なアーキテクチャは両方を使っています。キャッシュ、レート制限、一時的な状態の保持、高速なプロセス内のファンアウトにはRedisを、保証が必要なメッセージにはRabbitMQを使うという形です。この使い分けについてはRedisとRabbitMQの併用の記事でまとめています。
あわせて押さえておきたい比較が、ほかに2つあります。多数の独立したコンシューマーがそれぞれのペースでリプレイする追記専用のイベントログがワークロードであれば、Redis StreamsもRabbitMQも適した形ではありません。RabbitMQ StreamsとApache Kafkaの比較をご覧ください。また、確実な配信のためにオープンソースのブローカーと商用のブローカーを比較検討しているなら、IBM MQとRabbitMQの比較で詳しく取り上げています。
私たちが最もよく目にする失敗のパターンは、Redisを選ぶことそのものではありません。Streamsが必要な処理にRedis Pub/Subを選んでしまうこと、あるいはListを選んだ結果、誰も触りたがらない3年分のACKのロジックが積み上がっていたと後で気づくことです。実際に必要な保証に合った仕組みを選び、どれを選んだのかを記録に残してください。
RedisとRabbitMQについてAceMQにご相談ください
Redisが本来以上にキューイングの役割を背負っていないか、気になっていませんか?AceMQはその両面に対応しています。Redisのサポートとコンサルティング、そしてRabbitMQのコンサルティングです。AceMQのエンジニアにご相談ください。
よくある質問
Redisはメッセージキューとして使えますか?
はい。Redisには3つの仕組みがあります。シンプルなワークキューに使うList、送りっぱなし(fire-and-forget)のブロードキャストに使うPub/Sub、そしてat-least-onceの配信を実現するコンシューマーグループを備えたStreamsです。最もブローカーに近い動きをするのはStreamsです。それで十分かどうかは、配信以外に何が必要かによって決まります。
Redisはメッセージブローカーですか?
RabbitMQと同じ意味では、ブローカーではありません。Redisが提供するのは、その上にキューイングを構築できるデータ構造です。Exchangeによるルーティングも、キューに積まれた処理単位でのメッセージごとのTTLも、優先度付きキューも、組み込みのデッドレターの仕組みもありません。これらはブローカーの機能であり、Redisではアプリケーションのコードとして実装することになります。
Redis Pub/SubとRedis Streamsの違いは何ですか?
Pub/Subはat-most-onceで、何も保存しません。Redis自身のドキュメントにも、サブスクライバーがメッセージを処理できなかった場合、「そのメッセージは永久に失われる」と書かれています。Streamsはエントリーをキースペースに永続化し、確認応答(ACK)付きのコンシューマーグループをサポートし、at-least-onceの配信を実現します。メッセージの消失が問題になるなら、この違いがすべてを決めます。
Redis Pub/Subはメッセージを永続化しますか?
いいえ。パブリッシュされたメッセージは、その時点でサブスクライブしている相手にだけ届き、そのまま消えます。切断中、再起動中、あるいは一時的に過負荷になっているサブスクライバーは、その間にパブリッシュされたものをすべて取りこぼし、復旧する手段もありません。
Redis Streamsのコンシューマーグループはどのように動作しますか?
XGROUP CREATEでグループを作成し、各コンシューマーは新しいエントリーを示す特別なID>を指定してXREADGROUPで読み取ります。配信済みでまだACKされていないエントリーは、XACKされるまでPending Entries Listに残ります。コンシューマーがダウンした場合は、別のコンシューマーがXCLAIMまたはXAUTOCLAIMで、そのペンディング中のエントリーの所有権を引き取れます。これがat-least-onceを可能にしている仕組みです。
Redisでメッセージが失われることはありますか?
はい。どれだけ失われるかは永続化の設定によって決まります。RDBスナップショットはある時点の状態を保存するものなので、正常に停止しなかった場合は直近数分のデータが失われることを覚悟すべきだと、Redisのドキュメントは警告しています。AOFでデフォルトのappendfsync everysecを使う場合、1秒分のデータが失われる可能性があるとRedisは説明しています。Pub/Subのメッセージはそもそも永続化されません。
RedisはRabbitMQより高速ですか?
インメモリでの単純な操作だけを比べれば、一般的にはそのとおりです。それこそがインメモリデータストアの役割だからです。ただし、この比較は誤解を招きます。たいていの場合、ACKのないインメモリへのプッシュと、永続化・ルーティング・ACKを伴う配信を比べているからです。両者を同じ条件にそろえるために永続化とACKを加えると、差はかなり縮まります。
RabbitMQではなくRedisをキューイングに使うべきなのは、どんなときですか?
処理がワーカーへのシンプルなファンアウトで、Redisがすでに技術スタックにあり、ルーティングが1つのプロデューサーから1つのコンシューマープールへの流れで、障害時にジョブが失われても再実行で取り戻せる場合です。ルーティングのルール、メッセージごとのTTL、優先度、デッドレター、あるいはコンプライアンス文書に記載できる配信保証が必要なら、RabbitMQを選んでください。
参考資料
Talk to an engineer
Need a hand with Redis?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
ガイド・製品比較・調査レポート

