On this page
Redisの高可用性は、レプリケーションと、フェイルオーバーを自動化する仕組みの組み合わせで実現します。Redis Sentinelは単一のデータセットに自動フェイルオーバーを提供し、Redis Clusterはフェイルオーバーに加えて、複数のプライマリにまたがる水平シャーディングを提供します。ほとんどのチームに必要なのはSentinelです。1つのノードでデータを保持しきれなくなったり、スループットをさばききれなくなったりしたときに、Clusterが必要になります。Redis Clusterがデータをどのようにシャーディングし、クライアントをリダイレクトし、本番環境でどのような障害を起こすかについては、Redis Cluster:ハッシュスロット、シャーディング、運用をご覧ください。
レプリケーションだけでは高可用性にはなりません。レプリカを持つプライマリにも、プライマリのダウンを判断し、レプリカを昇格させ、クライアントに接続先を伝えるプロセスが必要です。以下で紹介するアーキテクチャを実際に区別しているのは、この判断のレイヤーです。
基盤となるRedisのレプリケーション
高可用性のアーキテクチャはすべて、同じ基本要素から始まります。書き込みを受け付ける1つのRedisマスターと、そこからレプリケーションを行う1つ以上のレプリカです。
Redisのレプリケーションは非同期です。この非同期レプリケーションこそが、インメモリストアの高速性を支えています。書き込みはレプリカが確認する前にクライアントへ確認応答されるため、レイテンシは低く抑えられますが、その分、プライマリに障害が起きると直近の数件の書き込みが失われる可能性があります。このトレードオフは意図的なもので、避けることはできません。どの高可用性の選択肢を使ってもなくなるわけではないので、回避しようとするのではなく、それを前提に設計してください。
レプリカは読み取りを処理しますが、単一障害点をなくすわけではありません。プライマリがダウンし、レプリカを昇格させる仕組みがなければ、クラスターは書き込みができない状態になります。
Redis Sentinelの仕組み
Sentinelは独立したプロセスで、監視対象のRedisインスタンスを見張り、昇格を自動で実行します。
Sentinelは最低3つ実行してください。判断には過半数が必要なので、3つあれば1つの障害に耐えながら合意に達することができます。2つでは、1つが失われた時点で過半数を形成できません。
フェイルオーバーが発生すると、処理は次のように進みます。
- Sentinelがプライマリから応答を得られなくなり、主観的ダウンとしてマークする
- ほかのSentinelに問い合わせ、十分な数が同意すると、プライマリは客観的ダウンとなる
- Sentinel同士でリーダーを選出し、リーダーが最適なレプリカを選ぶ
- そのレプリカがマスターに昇格し、残りのレプリカはそれに追従するよう再設定される
- クライアントは監視プロセスに問い合わせて、新しいプライマリを見つける
最後のステップは、多くのチームが考えている以上に重要です。Redisクライアントは、IPアドレスをハードコードするのではなく、監視プロセスに現在のプライマリのアドレスを問い合わせる、Sentinel対応のものでなければなりません。固定のIPアドレスで設定されたアプリケーションは、降格したノードに書き込み続け、気づかないうちに失敗します。
可能であれば、これらのプロセスはRedisサーバーとは別のホストにデプロイしてください。プロセスが軽量なため同居させることはよくありますが、その場合ホストに障害が起きると、Redisノードと投票権が同時に失われます。まさに投票が必要なタイミングでです。
Redis Clusterの仕組み
Redis Clusterは、データを複数のRedisインスタンスにシャーディングし、各インスタンスがそれぞれ自身のレプリカを持ちます。キーは、シャード全体に分散された16,384個のハッシュスロットにマッピングされます。
Clusterは、レプリカの昇格という同じ方法で高可用性と耐障害性を提供しますが、独立した監視レイヤーは必要ありません。ノード同士で合意を形成します。また、Sentinelにはできない書き込みのスケーリングも可能です。Sentinelの方式では、レプリカがいくつあっても、すべての書き込みを1つのプライマリが処理します。
その代償は、運用とアプリケーションの複雑さです。複数キーの操作は1つのハッシュスロット内に収める必要があり、リダイレクトの処理が不十分なクライアントもあります。また、シャードを複数のノードにまたがって再シャーディングする作業は、設定の変更ではなく、本格的な手順を伴う作業になります。
SentinelとClusterの比較
| Redis Sentinel | Redis Cluster | |
|---|---|---|
| データ | 単一のデータセットをレプリケーション | 複数のプライマリにシャーディング |
| 書き込みのスケーリング | 不可(プライマリは1つ) | 可能 |
| 自動昇格 | あり | あり |
| 追加のプロセス | Sentinelノードが必要 | 不要 |
| クライアントの要件 | Sentinel対応 | Cluster対応 |
| 複数キーの操作 | 制限なし | 同じハッシュスロット内のみ |
| 適した用途 | シャーディングなしのHA | HAと水平スケーリング |
Redis ClusterとRedis Sentinelの実務上の使い分けは次のとおりです。データが1つのノードに余裕をもって収まり、シャーディングなしで可用性が必要な場合はSentinelを選びます。収まらない場合はシャーディングできる方を選びます。冗長性だけを目的にClusterを選ぶと、インシデントのたびに代償を払うことになる複雑さを抱え込みます。
Redis Enterprise、Azure Cache for Redis、各クラウドプロバイダーのサービスといったマネージドの選択肢では、この選択が独自のアーキテクチャの裏に隠れており、通常はレプリカがアベイラビリティゾーンに分散配置されます。便利ではありますが、昇格のセマンティクスを自分で選ぶのではなく、提供元のものをそのまま受け入れることになります。
Redis Sentinelでスプリットブレインが起き、自動で回復しないのはなぜか
Sentinelで管理しているRedisのデプロイでスプリットブレインが起きるのは、ネットワークパーティション(または連鎖的な再起動)によって、ノードが2つのグループに分かれ、どちらのグループも自分たちがクォーラムを持っていて、プライマリとして動作すべきだ(あるいはすでに動作している)と考えてしまう場合です。RabbitMQのpause_minorityは、データの分岐を防ぐために少数派のパーティションを意図的に停止させます。これに対しRedis Sentinelのフェイルオーバーと回復のモデルは、どのノードが実際にダウンしているかについて、Sentinel同士がクォーラムで合意できるかどうかにかかっています。そして、実際の本番環境のインシデントで処理が行き詰まってきたのが、まさにこの合意のプロセスです。
実際の原因。ある本番環境のRedisのアセスメントでは、Redis Sentinelにおけるスプリットブレインと自動回復の失敗を、専用の調査項目として取り上げました。原因は特に、クラスター再起動時のSentinelのブートストラップの信頼性の問題にありました。つまり、問題は1回の劇的なネットワークパーティションではなく、再起動やクラッシュからの復旧の後にクラスターがオンラインに戻った際、Sentinelがクォーラムを正しく再確立できず、プライマリとレプリカの役割について合意できなかったことでした。
自己修復しない理由。Sentinelのフェイルオーバーのロジックでは、レプリカを昇格させる前に、設定された数のSentinelプロセスが、プライマリに本当に到達できないことに合意する必要があります。Sentinel自体が不整合な順序で再起動した場合や、元の問題を引き起こしたインフラ側の事象がSentinel間の通信も妨げていた場合、どのSentinelグループも正常なクォーラムを持たない状態に陥ることがあります。そうなると、まさにこうした事象を解決するはずの自動フェイルオーバーの仕組みが正しく発動せず、手動での介入が必要になります。
この問題に遭遇した場合の確認事項:
- すべてのSentinelプロセスが、必要なポートで相互に、また監視対象のRedisノードに到達できることを確認します。データ通信では解消したものの、Sentinelのゴシップ通信では解消していない部分的なネットワークの問題があると、アプリケーションレベルの接続が正常に見えても、Sentinelのクォーラムは壊れたままになることがあります
- Sentinelの
quorum設定を、実際のSentinelプロセスの数と照らし合わせて見直します。デプロイのトポロジーに対してクォーラムの要件が小さすぎると、まさにこうした曖昧な状態に陥る可能性が高まります - Redisサーバーのログだけでなく、Sentinelのログを確認し、フェイルオーバーの試行が繰り返し失敗していないか、現在のプライマリについてSentinel間で意見が食い違っていないかを調べます。これは単純なノード障害ではなく、クォーラムやブートストラップの問題であることを直接示す兆候です
- 自動デプロイ(コンテナの再起動、オーケストレーターによる再デプロイ)の一環としてSentinelのブートストラップを実行している場合は、ブートストラップの順序に競合がないことを検証します。Sentinelが、相互に、あるいは監視対象のノードに到達できるようになる前にオンラインになることは、まさにこの障害モードのよくある引き金です
実践的な対策:本物のネットワークパーティションではなく、再起動と相関してSentinelのスプリットブレインが繰り返し起きているなら、たいていはSentinelの設定変更だけでは解決しません。フェイルオーバーのロジックが動き出す前に、Sentinel同士およびRedisノードとの確実な接続が確立されるよう、ブートストラップと再起動の順序を修正する必要があります。Redis Clusterモードは(Sentinelで管理するスタンドアロン/プライマリ・レプリカ構成とは異なり)こうした調整の問題の一部を別の方法で処理するため、Sentinelのブートストラップの信頼性がお客様のデプロイで繰り返し運用上の悩みの種になっているなら、検討する価値があります。
高可用性のためのRedisの設定方法
Sentinel構成で実用的なベースラインは次のとおりです。
# redis.conf on each replica
replicaof <primary-ip> 6379
min-replicas-to-write 1
min-replicas-max-lag 10# sentinel.conf — three sentinel processes
sentinel monitor mymaster <primary-ip> 6379 2
sentinel down-after-milliseconds mymaster 5000
sentinel failover-timeout mymaster 60000末尾の2がクォーラムで、昇格を始める前に同意が必要な数を表します。Sentinelが3つなら、2が正しい値です。
Sentinelは別途設定します。そして、ほとんどのチームが設定を省略してしまうのがmin-replicas-to-writeです。これを設定すると、接続中のレプリカが設定数を下回った場合にプライマリが書き込みを拒否するため、気づかないうちに起きるデータ損失を、目に見えるエラーに変えられます。down-after-millisecondsはネットワークに合わせてチューニングしてください。厳しすぎると、通常のレイテンシで不要な昇格が発生します。
高可用性構成のRedisでも停止する理由
正しく設定するだけでは十分ではありません。以下は当社が最近対応した3つの障害モードで、いずれも設定のレビューでは見つかりません。
バックグラウンド保存中のメモリ枯渇。Redisはスナップショットを書き出すためにforkし、forkはコピーオンライトを使います。保存中にワークロードの書き込みが多いと、親プロセスと子プロセスのメモリが分岐し、メモリ使用量がデータセットの2倍近くまで増えていきます。当社が調査したあるお客様の環境では、メモリ使用率60パーセント前後でクラッシュが繰り返し起きていました。アラートを設定していたどのしきい値よりも十分に低い値です。原因はまさに、バックアップ中のforkの挙動でした。解決策は、Redisの設定ではなく、カーネルレベルでのメモリオーバーコミットの挙動のチューニングでした。
ピーク時の使用量にforkのオーバーヘッドを加えた量がRAMに収まるよう、キャパシティを計画してください。スナップショットを取る書き込み中心のインスタンスでは、定常時50パーセントが妥当な上限です。
ブートストラップ時のスプリットブレイン。同じ環境では、起動時のDNSの遅延がスプリットブレインを引き起こしていました。古いアドレスを解決したノードが、どれがプライマリかについて食い違った認識を持ってしまったのです。これは定常状態ではなくブートストラップの順序の問題で、クラスター全体が同時に再起動したときにしか現れません。そしてそれは、Kubernetesでノードのドレインやローリングアップデートを行う際にまさに起きることです。
スクリプトによる、DNSに依存したブートストラップはあまりに脆弱なため、当社では代わりにRaftベースの合意形成でSentinelのブートストラップを自動化し、外部への依存を完全になくすプラグインを開発しています。
レプリカの停滞。大きく遅れて完全な再同期が必要になったレプリカは、プライマリにもう一度forkを強いることになります。それもしばしば最悪のタイミングでです。レプリカの遅延は、後回しにせず、最重要のメトリクスとして監視してください。
設定からは説明のつかないRedisのクラッシュが起きていませんか?こうした障害の原因は、たいていRedisより下の層、つまりカーネルのメモリの挙動、DNS、オーケストレーションにあります。AceMQは、それらを突き止める体系的なRedisアセスメントを実施しています。AceMQのエンジニアにご相談ください。
Kubernetes上のRedis
Kubernetesでは障害のモデルが変わります。Podは移動し、IPアドレスは変わり、ローリングアップデートの際には分散システム全体が一度に再起動することもあります。
ほとんどのインシデントを防ぐ3つのルールは次のとおりです。
- 安定したネットワークIDを持つStatefulSetを使う。再起動したRedisインスタンスが、新しいアドレスではなく予測可能な名前を維持できるようにします
- アンチアフィニティを使い、レプリカをノードとアベイラビリティゾーンに分散させる。同じ物理ノード上にあるレプリカは、何の保護にもなりません
- PodDisruptionBudgetを設定する。ドレインによって、プライマリとSentinelノードの過半数が同時に退去させられないようにします
RedisとSentinelの両方に、この対策が必要です。データノードを保護しても、監視用のPodを自由に退去できる状態のままにしておくと、昇格を成り立たせている過半数が失われます。
ベストプラクティス
- Sentinelを3つ、Redisサーバーのホストとは別の障害ドメインに配置する
- 複数のレプリカ:すべてのプライマリノードに少なくとも2つずつ配置し、1つに障害が起きても昇格の候補が残るようにする
- Sentinel対応またはCluster対応のクライアント:プライマリのIPアドレスは決してハードコードしない
min-replicas-to-writeを設定し、プライマリが黙って書き込みを失うのではなく、はっきりと失敗するようにする- ワーキングセットだけでなく、forkのオーバーヘッドも見込んだキャパシティを確保する
- プロセスが稼働しているかどうかだけでなく、レプリカの遅延、メモリの断片化、監視プロセスの健全性にアラートを設定する
- 意図的にテストする。テストしていない昇格の経路は、保証ではなく仮説にすぎません
メッセージング層にも同じ対策を施したい場合は、RabbitMQトラブルシューティングガイドで、それに相当する障害モードを解説しています。本番環境での実践的な支援については、Redisのサポートとインシデント対応をご覧ください。
仮想化インフラでは、トポロジーと同じくらい配置が重要です。VMware上のRedisのアンチアフィニティをご覧ください。
SentinelとClusterの選び方:判断のルールとよくある誤った選択
判断はひとつの問いに集約されます。データセットとそれに対する書き込みレートが、1つのノードに収まるかどうかです。収まるならSentinel、収まらないならClusterです。
Sentinelは、レプリケーションされた単一のデータセットのためのフェイルオーバーです。1つのプライマリがすべてのキーを保持し、レプリカがそれをコピーし、Sentinelが監視します。Sentinelはクォーラムによってプライマリが失われたことに合意し、レプリカを昇格させ、新しいプライマリを問い合わせるクライアントに応答します。スタンドアロンのRedisのセマンティクスはそのまま維持され、任意のキーにまたがるMULTI/EXECやLuaが使えます。クライアント側で必要な変更は、接続時とエラー発生時のSentinelへの問い合わせだけです。
Clusterは、フェイルオーバーを組み込んだシャーディングです。キースペースは16384個のハッシュスロットに分割され、複数のプライマリに割り当てられます。各プライマリは、それぞれ自身のレプリカを持ちます。誤ったノードに問い合わせたクライアントは、MOVEDリダイレクト(恒久的)またはASKリダイレクト(移行中)を受け取り、それに従う必要があります。そのため、最新のスロットマップを保持するCluster対応のライブラリが必要です。複数キーのコマンド、トランザクション、Luaでは、すべてのキーが同じスロットにある必要があるため、キー名には{user:42}:profileのようなハッシュタグを含めます。
データセットが余裕をもって1つのノードに収まり、1つのプライマリで書き込みレートを吸収でき、任意のキーにまたがるトランザクションやLuaに依存している、あるいはクライアントがシンプルな場合は、Sentinelを選びます。データセットや書き込みスループットが1つのノードの限界を超えていて、水平方向の拡張が計画されている場合は、Clusterを選びます。
当社が最もよく目にする誤った選択は、可用性が高そうに聞こえるという理由で、4 GBのデータセットにClusterを選ぶケースです。実際には可用性は高くなりません。Clusterのフェイルオーバーも同じレプリカの昇格であり、条件はより厳しく(プライマリの過半数に到達できること)、必要なリソースは2倍になります。必要のないシャーディングのために、クライアントの複雑さとキー設計の手間を払うことになります。当社はこれまで、複数のチームを可用性を損なうことなくSentinelに戻してきました。
Redisのフェイルオーバー中に実際に起きていること、そして書き込みが失われる場所
Sentinelでは、手順は決まっています。down-after-milliseconds以内に有効な応答を得られなかったSentinelは、プライマリをSDOWN(主観的ダウン)としてマークします。ほかのSentinelに問い合わせ、クォーラムの数が同意するとプライマリはODOWN(客観的ダウン)になります。Sentinelはエポック番号付きの投票でリーダーを選出します。リーダーになるにはクォーラムではなく全Sentinelの過半数が必要です。だからこそ、Sentinelが2つでは1つがダウンするとフェイルオーバーできないのです。リーダーはreplica-priorityが最も低いレプリカを選び、優先度が同じ場合はレプリケーションオフセットが最も大きいものを選びます。そのレプリカにREPLICAOF NO ONEを送り、ほかのレプリカの参照先をそれに切り替え、+switch-masterを発行します。クライアントは任意のSentinelに現在のプライマリを問い合わせて再接続します。failover-timeoutは、各ステップとリトライの間隔の上限を決めます。
Clusterでは、プライマリが判定役を務めます。cluster-node-timeoutの間応答のないノードにはPFAILのフラグが付きます。障害の報告はゴシップで広がり、プライマリの過半数が同意するとFAILになります。ダウンしたプライマリの各レプリカは、レプリケーションオフセットに応じた順序で遅延時間を待つため、最も多くのデータを持つレプリカが最初に投票を求めます。レプリカは新しいエポックで投票を要求し、プライマリの過半数の票を必要とします。各プライマリはエポックごとに1回だけ投票します。勝ったレプリカはスロットを引き継ぎ、コンフィグエポックを更新してブロードキャストします。クライアントはMOVEDリダイレクトによってそれを知り、スロットマップを更新します。
どちらのモードでも、レプリケーションは非同期です。プライマリは、レプリカが書き込みを受け取る前にクライアントへ確認応答を返します。プライマリがダウンした時点でこの時間枠内にあったものは、すべて失われます。昇格したレプリカのオフセットが正となるからです。この時間枠は通常数ミリ秒ですが、レプリカが遅れている場合は数秒になります。
min-replicas-to-writeとmin-replicas-max-lagは、この時間枠に上限を設けます。1と10に設定すると、プライマリは、少なくとも1つのレプリカが接続していて、かつ10秒以内に応答を返していない限り、書き込みを拒否します。これでレプリケーションが同期になるわけではありません。確実に残さなければならない単一の書き込みには、WAITを使ってください。
同じ設定が、スプリットブレインに対するSentinelでの答えにもなります。Sentinelからは切り離されているものの、一部のクライアントからはまだ到達できる旧プライマリは、再設定されるまで書き込みを受け付け続け、それらは再参加時にすべて破棄されます。そのレプリカが新しいプライマリに追従するようになると、旧プライマリはmin-replicasのチェックを満たせなくなり、書き込みを拒否します。Clusterはより明確です。パーティションの少数派側にあるプライマリは、cluster-node-timeoutの後にサービスを停止し、CLUSTERDOWNを返します。
down-after-millisecondsとcluster-node-timeoutは、GCの停止やVMのストールで不要なフェイルオーバーが起きない程度に十分大きく設定してください(VMwareのアンチアフィニティを参照)。クライアントのタイムアウトは実測したフェイルオーバー時間より長く設定し、接続エラーやREADONLYの際にはバックオフ付きでリトライし、ライブラリがアドレスをキャッシュするのではなく、Sentinelやスロットマップに問い合わせ直すことを確認してください。そのうえで、プロセスの強制終了とファイアウォールによるパーティションの両方をリハーサルしてください。フェイルオーバーで想定外の事態が起きるのは、たいていパーティションの場合だけだからです。妥当な最小構成は、3つの障害ドメインに3つのSentinel、Clusterでは3つのプライマリにそれぞれレプリカを1つずつです。当社がお客様の環境でよく目にする誤りは、多い順に、Sentinelが2つしかない、監視対象のRedisと同じホストにSentinelがある、アプリケーションにプライマリのアドレスがハードコードされている、そしてクライアントのタイムアウトがフェイルオーバーより短い、です。当社のRedisコンサルティングは、たいていこのうちのどれかを修正するところから始まります。
本記事は、本番環境で問題が発生する順に取り上げるRedis信頼性ガイドの全7ステップのうち、ステップ1にあたります。
よくある質問
Redisの高可用性とは何ですか?
レプリケーションと自動フェイルオーバーを組み合わせ、ノードに障害が起きてもRedisがサービスを提供し続けられるようにするアーキテクチャです。レプリケーションだけでは不十分で、障害を検出し、レプリカを昇格させ、クライアントの接続先を切り替える仕組みが必要です。
Redis SentinelとRedis Clusterの違いは何ですか?
Sentinelは、レプリケーションされた単一のデータセットに自動昇格の機能を加えるものです。Clusterは、データを複数のプライマリにシャーディングし、障害を内部で処理します。前者は可用性を、後者は可用性に加えて書き込みのスケーリングを実現します。
Sentinelのプロセスはいくつ必要ですか?
最低3つです。フェイルオーバーにはクォーラムによる合意が必要で、3つあれば監視プロセスが1つ障害を起こしても過半数に達することができます。2つではそれができません。
フェイルオーバー中にRedisのデータは失われますか?
失われる可能性があります。Redisのレプリケーションは非同期なので、プライマリが確認応答を返したものの、まだレプリケーションされていない書き込みは、プライマリに障害が起きると失われます。min-replicas-to-writeを設定すると、接続中のレプリカが少なすぎる場合に書き込みを拒否し、データ損失のリスクを抑えられます。
監視プロセスは、どのようにプライマリのダウンを判断するのですか?
1つのプロセスがdown-after-milliseconds以内に応答を得られないと、そのプライマリを主観的ダウンとしてマークします。設定されたクォーラムを満たす数のプロセスが同意すると、客観的ダウンとなり、フェイルオーバーが始まります。
メモリに問題がないように見えるのに、Redisがクラッシュするのはなぜですか?
たいていはバックグラウンド保存時のforkが原因です。コピーオンライトの仕組み上、書き込み負荷がかかった状態でスナップショットを取ると、メモリがデータセットの2倍近くまで増えることがあります。そのため、使用率60パーセントのノードでも、保存の途中でRAMを使い切る可能性があります。ピーク時の使用量にforkのオーバーヘッドを加えた量でサイジングしてください。
Kubernetes上で高可用性のあるRedisを運用できますか?
はい。StatefulSet、ノードとアベイラビリティゾーンをまたぐアンチアフィニティ、そしてRedisとSentinelの両方を対象とするPodDisruptionBudgetを使えば運用できます。よくある障害は、ローリングアップデートによってプライマリとSentinelのクォーラムが同時に退去させられるケースです。
Redis Clusterで高可用性を確保するには、何ノード必要ですか?
6ノードです。3つのプライマリにそれぞれレプリカを1つずつ配置します。3つのプライマリは、そのうち1つがダウンしている状態でも、障害検出とレプリカ選出のための過半数を形成できる最小の構成です。また、プライマリごとにレプリカがあって初めて、フェイルオーバーが可能になります。6つのノードは少なくとも3つの障害ドメインに分散させ、どのプライマリも自身のレプリカとホストやハイパーバイザーを共有しないようにしてください。より大規模なクラスターでも同じルールが当てはまります。可能な限りプライマリの数を奇数にし、レプリカのないプライマリは決して運用しないでください。AceMQのRedisサポートでは、プランに応じた15分からの対応目標を24時間体制で提供し、フェイルオーバーのテストやトポロジーのレビューにも対応しています。
参考資料
ガイド・製品比較・調査レポート

