ブログRedis

Redisのトラブルシューティング:本番環境でよくある障害と対処法

Scott Sternloff

執筆:Scott Sternloff(シニアエンタープライズアーキテクト)

LinkedIn · 更新日: · 13分で読めます

Redisのトラブルシューティング:本番環境でよくある障害と対処法
On this page

Redisの本番インシデントの大半は、次の5つのいずれかに行き着きます。メモリがmaxmemoryに達する、O(N)のコマンド1つがシングルスレッドのイベントループをブロックする、アプリケーションがまだ必要としているキーをエビクションが黙って削除する、レプリケーションが遅れてフル再同期が発生する、接続がクライアント数の上限を使い切る、の5つです。ログファイルを読む前に、この順番で確認してください。

Redisのトラブルシューティングで成果を出せるかどうかは、ほとんどの場合、最初に正しいものを確認できるかどうかで決まります。以下では、エンタープライズ環境で当社が最もよく目にする障害を取り上げ、それぞれについて、コマンドに置き換える必要のある説明ではなく、障害を確定できるコマンドそのものをご紹介します。

Redisのトラブルシューティングは3つのコマンドから始まる

Redisのトラブルシューティングがうまくいかないのは、真っ先にログを見ようとするときです。Redisのログは設計上、情報が少なく、以下で取り上げる障害のほとんどはログに1行も残しません。残るのはサーバーの状態です。

INFO                       # role, uptime, clients, persistence, replication
INFO memory                # used_memory, maxmemory, fragmentation
SLOWLOG GET 25             # commands that exceeded the slow-log threshold

確認すべき問いは3つ、この順番です。

  1. メモリが不足していないか。used_memoryがmaxmemoryに達している、あるいは近づいているなら、書き込みの拒否、エビクション、そして「Redisが遅い」という報告のかなりの部分はそれで説明がつきます。
  2. 1つのコマンドがサーバーをブロックしていないか。Redisはコマンドをシングルスレッドで実行します。遅いコマンドが1つあるだけで全クライアントが止まり、その事実が記録されるのはスローログだけです。
  3. このノードは、想定どおりの状態にあるか。昇格したレプリカや、フェイルオーバー後にいつの間にかレプリカになっていたプライマリーは、原因とはまったく似ても似つかないエラーを引き起こします。

再起動したくなっても、こらえてください。再起動するとスローログが消え、INFOのカウンターがリセットされ、レイテンシーの時系列データも破棄されます。診断できたはずの問題が、ただの言い伝えになってしまいます。

1. Redisが「OOM command not allowed」を返すのはなぜか

問題:書き込みがOOM command not allowed when used memory > 'maxmemory'で失敗します。読み込みは成功し続けるため、監視ではサービスが稼働していると表示される一方で、アプリケーションは半分壊れた状態になります。

CONFIG GET maxmemory
CONFIG GET maxmemory-policy

maxmemory-policyがnoevictionであれば、Redisは指示されたとおりのことをしているだけです。つまり、データを削除する代わりに書き込みを拒否しています。データストアとしては正しい動作ですが、キャッシュとしては誤りです。

対処:まず、自分たちが運用しているのがどちらなのかを決めてください。キャッシュであれば、エビクションポリシーを設定してRedisに領域を回収させます。8つの選択肢についてはRedisのエビクションポリシーで詳しく解説しています。データストアであれば、このエラーは容量不足のシグナルです。それを支えられないホストでmaxmemoryを引き上げても、整然としたエラーがカーネルのOOM killに変わるだけです。

本来なら避けられるはずなのに、多くのRedisのトラブルシューティングを振り出しに戻してしまう落とし穴が1つあります。maxmemoryを0に設定すると、上限なしという意味になるのです。上限のないRedisはカーネルに強制終了されるまで膨らみ続け、カーネルは事前に丁寧なエラーを返してはくれません。

2. CPUもメモリも問題ないのに、Redisが遅いのはなぜか

問題:メモリの逼迫もスワップもなく、CPUもほぼアイドルなのに、レイテンシーが急上昇します。原因はほぼ決まっています。Redisはコマンドを1つのスレッドで処理するため、大きなコレクションに対するO(N)のコマンドがそのスレッドを占有し、その間ほかのすべてのクライアントが待たされるのです。

SLOWLOG GET 25
CONFIG GET slowlog-log-slower-than     # microseconds

スローログが記録するのは実行時間だけで、クライアントとの通信にかかった時間は含みません。したがって、エントリーがあるということは、サーバーが実際にそれだけの時間ブロックしていたことを意味します。各エントリーには、マイクロ秒単位の所要時間、コマンドの引数、クライアントのアドレスとポートが記録されており、たいていはこれだけで、計測用のコードを仕込まなくても原因のサービスを特定できます。

よくある原因は、KEYS *、大きなセットに対するSMEMBERS、巨大化したハッシュに対するHGETALL、範囲を限定しないLRANGE key 0 -1、そして長いLuaスクリプトです。Luaスクリプトはアトミックに実行されるため、本体の処理が終わるまでずっとブロックします。

対処:コレクション全体の読み込みを、カーソルベースの反復処理(SCAN、SSCAN、HSCAN、ZSCAN)に置き換えます。これらは1回の長いブロッキング呼び出しではなく、上限のあるチャンク単位で結果を返します。そのうえで、コレクションがなぜそこまで大きくなったのかを突き止めます。

redis-cli --bigkeys      # biggest keys by element count
redis-cli --memkeys      # biggest keys by bytes

どちらもKEYSではなくSCANでキー空間を走査するため、本番環境でも安全に使えます。負荷の高いインスタンスでは、-i 0.01を付けて速度を抑えてください。

先に進む前に、レイテンシー監視を有効にしてください。latency-monitor-thresholdのデフォルトは0で、このサブシステムは完全に無効になっています。そのためLATENCY DOCTORは何も報告せず、ツールが壊れていると思い込んでしまう人が少なくありません。これは、Redisのトラブルシューティングで最もよく行き詰まるポイントです。

CONFIG SET latency-monitor-threshold 100     # milliseconds

有効にすると、Redisはレイテンシーの急上昇を、command、fork、expire-cycle、eviction-cycle、aof-*系のイベント、active-defrag-cycleといった名前付きのイベントごとに記録します。インシデントが再発したときには、LATENCY LATESTとLATENCY DOCTORがどのイベントが原因かを教えてくれます。LATENCY LATESTがcommandではなくforkを示した場合、それはこの記事の中で最も役に立つ読み取り結果です。問題がクエリではなく永続化にあることを示しているからです。

3. バックアップ中にRedisが止まるのはなぜか

問題:規則的なリズムでレイテンシーが急上昇し、それがバックアップの時間帯と重なっていることがよくあります。

INFO persistence     # rdb_bgsave_in_progress, latest_fork_usec, rdb_last_bgsave_status
LATENCY HISTORY fork

Redisは子プロセスをforkしてスナップショットを取得します。止まっている原因は、このforkです。fork(2)はプロセスのページテーブルをコピーする必要があり、Redisのドキュメントにも、forkは「データセットが大きい場合は時間がかかることがあり、データセットが非常に大きくCPU性能が高くない場合には、Redisが数ミリ秒、場合によっては1秒間クライアントへの応答を停止することがある」と明記されています。直近のforkの所要時間はlatest_fork_usecでわかります。ここに数十万マイクロ秒という値が出ていれば、それがレイテンシーの正体です。

対処は、正解になることが多い順に次のとおりです。スナップショットの取得をレプリカに移し、誰もクエリを投げないノードでforkが起きるようにする。forkのコストはページテーブルのサイズとハイパーバイザーにほぼ左右されるため、ホストを確認する。データを再構築できるインスタンスであれば、RDBをやめてしまう。Redisのトラブルシューティングのチケットでは、クエリのチューニングよりも永続化の見直しが答えになることのほうが多いのです。

forkには、インスタンスをそのまま落としてしまうメモリ面の影響もあります。コピーオンライトにより、保存中に変更されたページはすべて複製されるため、書き込み負荷がかかるとプロセスのメモリはデータセットの2倍近くまで膨らみます。当社が調査したあるお客様のクラスターでは、報告されている使用率がおよそ60%を超えたことがないのにクラッシュが繰り返されていました。原因はすべてforkにあり、修正はRedisの設定ではなく、カーネルのメモリオーバーコミットのチューニングでした。Redisの高可用性で取り上げている障害も、同じ仕組みに起因しています。

Redisのレイテンシーやクラッシュについてご相談ください

メトリクスでは説明のつかないRedisのレイテンシーやクラッシュにお困りではありませんか?こうした問題の多くは、Redisよりも下のレイヤー、つまりforkの挙動、アロケーターの断片化、ハイパーバイザーに潜んでいます。そこまで来ると、RedisのトラブルシューティングはもはやRedisだけの問題ではありません。AceMQは、こうした原因を突き止める体系的なアセスメントを実施し、本番環境向けにエンタープライズ向けRedisサポートを提供しています。AceMQのエンジニアに相談する。

4. TTLより前にキーが消えるのはなぜか

問題:キーが予定より早く消え、アプリケーション側ではデータ整合性のバグだと思い込んで防御的なコードを書き始めてしまいます。

INFO stats     # evicted_keys, expired_keys, keyspace_hits, keyspace_misses

evicted_keysが増え続けているなら、インスタンスが上限に達し、設定されたポリシーに従って領域を回収しています。expired_keysの増加は通常のTTLの挙動であり、これとは別物です。

対処:エビクションが増えているということは、インスタンスのサイズが足りないか、ポリシーがアクセスパターンに合っていないか、あるいはTTLが付いたキーが1つもないキー空間にvolatile-*ポリシーが設定されているかのいずれかです。最後のケースでは、エビクションの候補が存在しないため、設定上はそうなっていなくてもnoevictionと同じように振る舞います。

チューニングの前に一点注意があります。redis-cli --hotkeysは頻繁にアクセスされるキーを特定できますが、LFUカウンターを読み取る仕組みのため、maxmemory-policyが*-lfuポリシーのときにしか機能しません。LRUのインスタンスでは、期待した結果は得られません。

5. レプリカが遅延したり再同期を繰り返したりするのはなぜか

問題:レプリカが遅れ、やがてフル再同期を実行します。これによりプライマリーでforkが発生し、最悪のタイミングでレイテンシーが急上昇します。両方のノードで次を実行してください。

INFO replication     # role, master_link_status, master_repl_offset, connected_slaves

レプリカのオフセットをプライマリーのmaster_repl_offsetと比較し、master_link_statusがupであることを確認します。

対処:Redisのレプリカは再接続すると部分再同期を試み、取りこぼしたストリームだけを再生します。ただし、それができるのは、そのデータがまだプライマリーのレプリケーションバックログに残っている間だけです。長時間の切断や、処理が追いつかないレプリカによってバックログを使い切ると、Redisはフル再同期にフォールバックします。バックグラウンドでの保存、データセット全体の転送、そして再読み込みです。

つまり、調整すべきはバックログです。repl-backlog-sizeは、平均的な切断ではなく、耐えたい最悪の切断に合わせてサイジングしてください。WANやAZをまたぐリンクでは、デフォルト値が1桁小さすぎることも珍しくなく、その症状はネットワーク障害のように見える再同期の嵐として現れます。

多くのチームがつまずく点が2つあります。レプリカはデフォルトでmaxmemoryを無視します。エビクションはプライマリーがレプリケートしたDELによって制御するため、レプリカがプライマリーの上限を超えて、本当のメモリ不足に陥ることがあります。また、SHUTDOWNで停止したレプリカは部分再同期できますが、killされたレプリカはできません。

6. クライアントで接続エラーが発生するのはなぜか

問題:サーバーは正常に見えるのに、ERR max number of clients reachedや接続タイムアウトが発生します。

INFO clients               # connected_clients, blocked_clients
CONFIG GET maxclients      # read it — do not assume the default
CLIENT LIST                # per-connection age, idle time, last command

maxclientsについては、記憶しているデフォルト値を当てにしないでください。OSのファイルディスクリプター上限が設定値を支えきれない場合、Redisは起動時にこの値を引き下げます。そのため、コンテナ環境での実際の値は、設定ファイルに書かれている値を大きく下回っていることがよくあります。

対処:CLIENT LISTを見ると、2つのパターンを見分けられます。ageが短くidleが長い接続が数千本ある場合は、アプリケーションがリクエストごとに接続を開いているので、プールが必要です。これはRedisではなくアプリケーション側の修正です。ageが非常に長い接続が数本あり、そのうちの1本がブロックされている場合は、何かがBLPOPなどで接続をつかんだまま、決して解放していません。

Redisをキューのワークロードの前段に置いていて、負荷がかかると接続の張り直しが頻発しているのであれば、本当に問うべきは、そもそもその経路にRedisを置くべきかどうかです。そのトレードオフについてはRedisとRabbitMQを併用するで解説しています。

7. リシャード後にRedis Clusterが障害を起こすのはなぜか

問題:スロットの移行後にCLUSTERDOWN Hash slot not servedが発生したり、クライアントがMOVEDとASKのリダイレクトの間を行き来したりします。

CLUSTER INFO                          # cluster_state, cluster_slots_assigned
CLUSTER SHARDS                        # slot ranges per shard
redis-cli --cluster check <host>:<port>

cluster_state:okになるには、16,384個のハッシュスロットすべてが割り当てられている必要があります。リシャードが中断されると、スロットが移行中(migrating)またはインポート中(importing)のまま残り、クラスターは一貫性のない応答を返すよりも、応答そのものを拒否します。

対処:何かに手を付ける前に、まず--cluster checkに未完了のスロットを報告させ、スロットを手作業で割り当てるのではなく、redis-cli --cluster fixで移行を完了させてください。十分に理解していないクラスターでCLUSTER SETSLOTを手動実行すると、止まっていたリシャードがデータ消失へと変わります。

あわせて、クライアントがクラスター対応モード(redis-cliなら-c)を使っていることも確認してください。クラスター非対応のクライアントは、最初のリシャードでスロットが移動するまではクラスターノードに対して問題なく動作しますが、移動したキーに限って失敗するようになります。データ消失のように見えて、実はそうではない、Redisのトラブルシューティングの典型例です。

8. Redisは速いのに、アプリがタイムアウトするのはなぜか

タイムアウトの原因がRedisではないからです。2つの区間を別々に計測してください。

redis-cli --latency                     # round-trip PING latency
redis-cli --intrinsic-latency 5         # host scheduler latency — run ON the Redis server

--intrinsic-latencyはRedisには一切触れません。カーネルとハイパーバイザーの性能を計測するもので、Redisを稼働させているマシン上で実行する必要があります。固有レイテンシーがすでにミリ秒単位なら、Redisをどれだけチューニングしてもそれを下回ることはできません。問題はホストにあり、仮想化環境であれば、たいていはCPUスチールを意味します。

往復のレイテンシーが1ミリ秒未満なのにアプリケーションがタイムアウトするなら、待ちが発生しているのはクライアント側です。プールの枯渇、イベントループ上での同期呼び出し、あるいは実際のコマンド所要時間より短く設定されたクライアントのタイムアウトが考えられます。

Redisのトラブルシューティングをエスカレーションすべきとき

Redisのトラブルシューティングの大部分は、社内で対応できる作業です。エビクションのチューニング、遅いコマンドの洗い出し、コネクションプーリング、バックログのサイジング、スナップショットのスケジューリングなどです。

一手を誤ったときの代償が、セカンドオピニオンを求めるコストを上回る場合は、エスカレーションしてください。

  • INFOにもログにも説明となる情報がないまま、クラッシュが繰り返される
  • リシャードの失敗後、未割り当てのスロットがあるクラスター
  • 何度リトライしても同期を完了できないレプリカ
  • FLUSHALLの後もメモリが増え続ける(キー空間ではなく、バッファーやアロケーターの問題です)
  • どのノードが正となるデータを持っているのかわからないまま、状態を強制的に変更しようとしているインシデント

これらには共通点が1つあります。すぐに思いつく次の一手によって、証拠が失われてしまうことです。AceMQは本番環境向けにエンタープライズ向けRedisサポートを提供しています。オープンソースのRedis、Redis Enterprise、マネージドクラウドサービスを対象に、インシデント対応、クラスターのアセスメント、メモリとレイテンシーのフォレンジック、アップグレード計画までを支援します。

エスカレーション後に何が起きるのかはRedisの24/7インシデント対応で、エスカレーションが契約上どこまでカバーされるのかはRedisサポートが実際にカバーする範囲で解説しています。

これらの障害の大半の背景にある原因については、2つの記事で詳しく取り上げています。Redisのメモリを適切にサイジングする方法とRedisをメッセージキューとして使うです。

本記事は、本番環境で問題が発生する順に取り上げているRedis信頼性ガイドの、全7ステップ中の6番目です。

よくある質問

Redisのトラブルシューティングは何から始めればよいですか?

Redisのトラブルシューティングは、まずINFO、続いてINFO memoryとSLOWLOG GET 25から始めます。この3つで、インスタンスがメモリ不足になっていないか、エビクションが起きていないか、1つのコマンドがイベントループをブロックしていないかがわかります。ほとんどのインシデントは、ここで解決します。

Redisが「OOM command not allowed」を返すのはなぜですか?

maxmemoryの上限に達しており、かつmaxmemory-policyがnoevictionになっているため、Redisはデータを削除する代わりに書き込みを拒否しています。読み込みは引き続き成功するため、アプリケーションは半分だけ動いているように見えます。CONFIG GET maxmemoryとCONFIG GET maxmemory-policyで確認してください。

CPUもメモリも問題ないのに、Redisが遅いのはなぜですか?

ほぼ例外なく、O(N)のコマンド1つがシングルスレッドのコマンドループを占有しています。KEYS *、大きなセットに対するSMEMBERS、巨大なハッシュに対するHGETALL、範囲を限定しないLRANGEは、いずれも処理が終わるまで他のすべてのクライアントをブロックします。原因のコマンドはSLOWLOG GETで特定できます。

LATENCY DOCTORに何も表示されないのはなぜですか?

レイテンシー監視がデフォルトで無効になっているためです。latency-monitor-thresholdは0に設定されています。まずCONFIG SET latency-monitor-threshold 100を実行し、問題が再発するのを待ってからLATENCY DOCTORを実行してください。これは、Redisのトラブルシューティングで最もよく行き詰まるポイントです。

Redisで大きなキーを安全に見つけるにはどうすればよいですか?

要素数で調べるならredis-cli --bigkeys、バイト数で調べるならredis-cli --memkeysを使います。どちらもKEYSではなくSCANを使うため、負荷の高い本番インスタンスに対しても安全に実行できます。スキャンをさらに抑えたい場合は-i 0.01を付けてください。

Redisのレプリケーション遅延はどう確認すればよいですか?

両方のノードでINFO replicationを実行します。プライマリーのmaster_repl_offsetとレプリカのオフセットを比較し、master_link_statusがupであることを確認してください。レプリカの遅れがレプリケーションバックログを使い切るほど大きくなると、フル再同期が発生し、プライマリーでforkが走ります。

Redisは稼働しているのに、クライアントで接続エラーが出るのはなぜですか?

クライアント数の上限に達している(INFO clientsとCONFIG GET maxclientsを比較します)か、アプリケーションがプールを使わずにリクエストごとにクライアントを作成しているため接続がリークしているかのどちらかです。CLIENT LISTを使うと、接続ごとの経過時間、アイドル時間、最後に実行したコマンドを確認できます。

再起動せずにエスカレーションすべきなのはどんなときですか?

再起動によって証拠が失われてしまう場合です。メトリクスに原因が見当たらないクラッシュの繰り返し、未割り当てのスロットがあるクラスター、同期しないレプリカ、説明のつかないデータ消失などが該当します。まず再起動してしまうことで、復旧できたはずのインシデントが取り返しのつかないものになります。

Redisのトラブルシューティングで大切なのは、ほとんどの場合、規律です。何かを変更する前にコマンドで障害を確かめ、変更は一度に1つずつ行ってください。

参考資料

Scott Sternloff

著者

Scott Sternloffシニアエンタープライズアーキテクト

AceMQのシニアエンタープライズアーキテクト。RabbitMQ、Kafka、Redisのアーキテクチャ、クラスタリング、移行といった技術記事を担当しています。

Talk to an engineer

Need a hand with Redis?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

ガイド・製品比較・調査レポート

Redisをさらに深く知る

無料相談

お客様のRedis デプロイメントを専門家がチェックします

本番環境のインシデント対応、移行の計画、アーキテクチャのセカンドオピニオンなど、どのようなご相談にもAceMQのチームが対応します。売り込みは一切なく、ご質問に的確にお答えします。

メールで問い合わせる