このページの内容
チームでINFO server、INFO clients、INFO memoryを確認しても、すべて正常に見えます。CPU使用率は低く、メモリも範囲内で、スローログにも何も記録されていません。それなのにアプリケーションはRedisのタイムアウト例外を出し続け、Redisに依存するサービスの性能が低下したり、停止したりしています。
これは実によくある、そして実に厄介な障害パターンです。真っ先にサーバーを調べたくなるからです。当社が対応してきた事例では、問題がサーバーにあることはほとんどありません。
サーバーが正常なのにRedisのタイムアウトが起きる場合、本当に調べるべき場所はどこか
可能性の高い順に3か所です。
- クライアントの設定:具体的には、タイムアウト値、コネクションプールのサイズ、リトライの挙動です。
- ネットワーク経路:アプリケーションとRedisの間にあり、アイドル状態の接続を黙って切断するファイアウォール、ロードバランサー、NATデバイスです。
- 大きなキーやブロッキングコマンド:シングルスレッドのRedisのイベントループを長時間ブロックし、サーバーが「ダウン」することはないにもかかわらず、クライアント側のタイムアウトを引き起こす操作です。
実際の本番環境の事例で具体的に見てみましょう。あるお客様の案件は、マイクロサービスの障害を引き起こしていた10秒のクライアントタイムアウトだけを対象としたものでした。調査の結果、エラーはRedisサーバーではなくクライアント側で発生していることが確認されました。サーバー側には、それに相当するエラーや遅延が一切記録されていなかったのです。根本原因の特定には、Redisインスタンスそのものではなく、クライアントとアプリケーション側のリソース枯渇のパターンを深く分析する必要がありました。
特定のメンテナンス時間帯に接続が切れ続ける。何が起きているのか
これはネットワーク層の症状であり、ファイアウォールの定期メンテナンスがあるクラウド環境やエンタープライズのネットワーク環境では、チームが想定している以上によく起こります。
ある事例では、ファイアウォールのメンテナンスによってRedisクラスターへのすべてのTCP接続が同時に切断されました。メンテナンス自体は3〜5分でしたが、ネットワークは完全に停止し、アプリケーションを手動で再起動する必要がありました。これはRedisの問題ではまったくありませんでした。アプリケーションとRedisの間のネットワーク経路にあるインフラが、定例のファイアウォールのアップグレード中に、確立済みの接続を黙って切断していたのです。
これが原因かどうかを確認する方法:
- タイムアウトのインシデントが、負荷のパターンではなく定期的なスケジュール(毎晩、毎週など)と相関しているかを確認する
- ファイアウォール、ロードバランサー、NATゲートウェイの定期メンテナンス時間帯があるかどうか、ネットワークチームに直接確認する
- 可能であればその時間帯のトラフィックをキャプチャする。Redisサーバー側に対応するログがないまま、きれいなTCP RSTや無言の接続切断が見られれば、原因がRedisではなくネットワーク層にあることが確定する
Redisのタイムアウト問題を実際に解決できるクライアント側の設定とは
最も重要な設定は2つあり、実際の改善対応でもこの2つが具体的な対策として適用されました。TCPキープアライブとクライアントレベルのリトライ/タイムアウトの調整です。
TCPキープアライブ。キープアライブが無効だと、ファイアウォールやNATデバイスの背後にあるアイドル状態の接続は、黙って切断される格好の対象になります。OSレベルのTCPスタックは、実際にその接続を使おうとするまで切断されたことに気づかず、その時点できれいに再接続されるのではなくタイムアウトが発生します。TCPキープアライブをある程度積極的な間隔(ファイアウォールやNATのアイドル接続タイムアウトより十分短い間隔)で有効にすれば、定期的な無操作パケットによって接続が維持されるか、アプリケーションが使おうとする前にコネクションプールが切れた接続を入れ替えられるほど早く失敗を検知できます。
クライアントライブラリのリトライとタイムアウトの設定。Lettuce Redisクライアント(Spring Data Redisでよく使われます)を使うJavaアプリケーションの場合は、次の項目を明示的に設定します。
- コマンドタイムアウト(Redisの応答をどれだけ待ってから諦めるか)
- OSレベルだけでなく、クライアントライブラリのレベルでのソケットのキープアライブ設定
- 一時的な接続障害に対するリトライポリシー。「connection refused」(すぐに失敗させる)と「connection reset」(リトライしても安全)を区別する
ある本番環境の改善案件では、サーバー側とクライアント側の両方について推奨するTCPキープアライブとリトライの設定をまとめた報告書を作成し、続いてお客様のRedisクラスターと、Lettuceクライアントのタイムアウトおよびリトライのパラメーターについて、具体的な設定チューニングの指針を提示しました。
大きなキーがタイムアウトの原因になっている可能性は
あります。ネットワークやクライアント側の要因をすでに見つけていたとしても、大きなキーは問題を複合的に悪化させることがあるため、確認して排除しておく価値があります。
Redisはコマンドの実行がシングルスレッドです。非常に大きなキー(巨大なハッシュ、膨大なソート済みセット、大きな文字列)を操作するコマンドはイベントループを長時間ブロックし、他のクライアントのコマンドが待ち行列に積み上がって、最終的にタイムアウトすることがあります。CPUとメモリの集計メトリクスではサーバーが正常に「見える」にもかかわらずです。
このパターンに関する調査では、ネットワーク層の対策と並行して、パフォーマンス最適化の候補として大きなRedisキーの圧縮手法も検討しました。実際の環境では、タイムアウトの根本原因は単一の要因ではなく、ぎりぎりのネットワークの信頼性と、ときおり発生する大きなキーへの操作が重なって、レイテンシがクライアントのタイムアウトしきい値を超えてしまうケースが多いためです。
確認方法:代表的なトラフィックが流れている時間帯にredis-cli --bigkeysを実行するか、大きいと思われるキーに対してMEMORY USAGE <key>を使います。数メガバイト規模のキーが、HGETALL、SMEMBERS、LRANGEのようなコマンドで制限なしにアクセスされていれば、それが要因の候補です。
当て推量ではなく体系的に診断する方法
次の順序で進めます。
- クライアント側の問題であることを確認する。Redisサーバーのログと
INFOの出力に、タイムアウトの時間帯と相関するものがないかを確認します。サーバー側に何も見られなければ、問題がRedis自体より上流にあることが確認できます。 - スケジュールとの相関を確認する。特定の時刻や曜日に発生していませんか。そうであれば、ネットワークインフラのメンテナンスが疑われます。
- クライアントの設定を見直す。コマンドタイムアウト、コネクションプールのサイズ、TCPキープアライブの設定を、実際のネットワーク経路のアイドル接続の許容時間と比較します。
- 大きなキーとブロッキングコマンドの可能性を排除する。
--bigkeysを実行し、上限のないコレクションを操作しているコマンドがないか、コマンドのパターンを見直します。 - それでも解決しない場合は、パケットレベルの証拠を取得する。再現する時間帯にトラフィックをキャプチャすれば、接続がネットワーク機器によってリセットされているのか、クライアント側でタイムアウトしているのかが確実にわかります。
一般的なインフラチームで診断できるのか、それともRedis固有の専門知識が必要なのか
Redis固有の専門知識があると大きな違いが出ます。主な理由は、原因がRedis側、クライアント側、ネットワーク側のいずれであっても、タイムアウトという症状はまったく同じに見えることです。Redisの運用経験が深くないチームは、誤った層のチューニングから始めてしまいがちです。たいていはサーバーです。名前に「Redis」と付いているコンポーネントだからです。
この記事で取り上げた本番環境の2つの事例は、いずれも実際に原因となっている層を特定するために、チームをまたいだ連携を必要としました。アプリケーション/DevOpsのチームがRedisの専門家と協力し、ファイアウォールの事例ではネットワーク/セキュリティのチームも直接加わりました。こうした部門横断の診断プロセスこそ、体系立てたRedisアセスメントが真価を発揮する場面です。答えが「Redisをチューニングすること」だと決めつけず、障害を実際の発生箇所までたどります。
Redisのタイムアウトを10分で診断する
当社がコマンドを実行する順序と、それぞれの結果から何が確定し、何が除外されるかを示します。いずれもValkeyにもそのまま当てはまります。
- クライアントのホストから
redis-cli --latencyを実行し、次にサーバーのホストから実行する。両方で--latency-historyを数分間実行します。クライアントのホストでだけスパイクが出る場合は、ネットワーク経路かクライアントのマシンに原因があり、Redis側で何をしても解決しません。両方でスパイクが出る場合はサーバーが停滞しているので、このリストを先に進みます。
SLOWLOG GET 25とINFO commandstats。スローログには、slowlog-log-slower-than(デフォルトは10ミリ秒)を超えた個々のコマンドが記録されます。commandstatsにはコマンドの種類ごとのusec_per_callが表示されるため、1回ごとの呼び出しはスローログに載らなくても、平均40ミリ秒かかっているKEYSを見つけられます。よくある原因は、KEYS、大きなセットに対するSMEMBERS、フィールドの多いハッシュに対するHGETALL、SUNIONのような集合演算、ループするLuaスクリプトです。いずれも、実行中はその全時間にわたって他のすべてのクライアントをブロックします。
INFO clients。BLPOPやストリームを使っている場合、blocked_clientsがゼロより大きいのは正常です。そうでなければ、何かが永遠に届かないキーを待っています。client_recent_max_output_bufferとCONFIG GET client-output-buffer-limitを比較します。遅いサブスクライバーやレプリカがバッファを使い切ると上限に達し、サーバーが接続を切断します。クライアントはそれをタイムアウトとして報告します。
INFO persistence。rdb_bgsave_in_progress、aof_rewrite_in_progress、latest_fork_usecをタイムアウトのタイムスタンプと照らし合わせます。大きなデータセットでのforkはメインスレッドを数百ミリ秒停止させ、その後のコピーオンライトがすべての書き込みを遅くします。毎時同じ分にタイムアウトが起きる場合、ほぼ確実にスケジュールされたBGSAVEが原因です。
INFO stats。evicted_keysが急増している場合は、maxmemoryに達してサーバーが削除対象の選定に時間を費やしています。expired_keysが急増している場合は、多数のキーが同じ秒に期限切れになるTTLの崖が生じています。どちらもイベントループを停滞させます。対策については、Redisのメモリに関するガイドと、キーが増えていないのにメモリが増える場合のFAQで解説しています。
CLIENT LIST。addrとnameごとに接続数を数えます。リクエストが待ち行列に並んでいる間、プールが上限に張り付いている場合、その「タイムアウト」は応答が遅いのではなく、空き接続を待っている時間です。1つのエントリでqbufやomemが高い場合は、特定の1つのクライアントの異常な挙動が疑われます。
- ホスト。VM上で
vmstat 1のsteal列がゼロでない場合、ハイパーバイザーにCPUを奪われています。cat /sys/kernel/mm/transparent_hugepage/enabledの結果はneverであるべきです。THPはforkによる停止を長引かせるため、RedisとValkeyは起動時にこれについて警告を出します。Redisのホストでスワップが少しでも使われていれば、それ自体が指摘事項です。
- クライアントの設定は最後に。プールのサイズ、ソケットタイムアウト、リトライポリシーを見るのは、ここまで来てからです。ここから始めると、タイムアウトを引き上げて症状を覆い隠し、1か月後にまた同じ問題に戻ってくることになります。
当社のサポート業務では、ステップ2で原因が見つかる件数が残りのステップの合計を上回り、ステップ4がはっきりと2番目です。ネットワークが原因であることは想定されているより少なく、だからこそステップ1でその問題に2分で決着をつけるのです。より詳しいランブックはRedisのトラブルシューティングをご覧ください。
クライアント別のタイムアウトエラーと、その一般的な意味
- Jedis。
JedisConnectionException: Could not get a resource from the poolはプールの枯渇です。接続が返却されていない(close()やtry-with-resourcesの欠落)か、スレッド数に対してmaxTotalが小さすぎます。SocketTimeoutException: Read timed outをラップしたJedisConnectionExceptionは読み取りタイムアウトで、ステップ2で見つかるような1つの遅いコマンドによって、デフォルトの2,000ミリ秒に達していることがよくあります。 - Lettuce。
RedisCommandTimeoutException: Command timed out after 1 minute(s)はデフォルトの60秒によるもので、Lettuceのリクエストがすぐに失敗せずハングするのはこのためです。Lettuceは1つの接続上でコマンドを多重化するため、遅いコマンドが1つあると、その後ろに並ぶすべてのコマンドが待たされます。再接続の間はコマンドがメモリ上に溜まり、その後まとめてタイムアウトします。 - StackExchange.Redis。
RedisTimeoutException: Timeout performing GET (5000ms), inst: 0, qu: 0, qs: 12, aw: False, in: 65536, ...は次のように読みます。qsは送信済みで応答待ちのコマンド、quはまだ書き込まれていないコマンド、inは受信済みだがまだ処理されていないバイト数、mgrはソケットマネージャーの状態です。inとqsがともに高い場合は、応答は届いているのにクライアントが読み取れていない状態、つまりスレッドプールの枯渇を意味します。たいていはWebリクエストのコード内で.Resultや.Wait()によってブロックしていることが原因です。同じメッセージのWORKER行を確認し、busyがminを上回っていればそれが裏付けになります。 - node-redisとioredis。どちらも接続タイムアウトとコマンドの挙動を分けて扱います。ioredisには
connectTimeout、commandTimeout、maxRetriesPerRequest(デフォルトは20)があり、MaxRetriesPerRequestErrorは、Redisが遅かったのではなく、再接続ループが諦めたことを意味します。短い遅延を永遠に返し続けるretryStrategyは、ログを大量に出力するだけで本当のエラーを表に出しません。node-redisはreconnectStrategyを使い、古いバージョンにはコマンド単位のタイムアウトがないため、サーバーが停滞するとエラーではなく解決しないPromiseが残ります。 - redis-py。
socket_connect_timeoutはTCPハンドシェイクの上限を、socket_timeoutは各読み取りの上限を決めます。後者のデフォルトはなし(無制限)なので、停滞した呼び出しは永遠に待ち続けます。TimeoutError: Timeout reading from socketは後者によるものです。health_check_intervalはアイドル状態の接続を再利用する前にPINGを送信するため、ファイアウォールがアイドル状態のソケットを切断した後に起きるConnectionError: Connection closed by serverを解消できます。 - Goのクライアント。
context deadline exceededはクライアント自身のタイムアウトではなく呼び出し側のコンテキストによるものなので、両方を確認してください。redis: connection pool timeoutは、goroutineの数がPoolSizeを上回り、空き接続を待ってPoolTimeoutを超えたことを意味します。プールを大きくするか、goroutineのリークを見つけてください。
この作業を日常的に行っている専門家に任せたい場合は、当社のRedisサポートチームが24/7でオンコール対応し、プランに応じた15分からの対応目標を設けています。またRedisコンサルティングでは、根本にある設計を改善します。
Redisクライアントのタイムアウトや接続の問題をご相談ください
Redisサーバーのメトリクスに見えるものと相関しないタイムアウトに悩まされていませんか?クライアント、ネットワーク、サーバーのいずれに原因があるかわからない、まさにこうした多層的な問題を、推測ではなく切り分けるために設計されているのが、体系立てたRedisアセスメントです。AceMQは本番環境向けにエンタープライズRedisサポートを提供しています。AceMQのエンジニアにご相談ください。
この記事は、本番環境で問題が発生する順に取り上げているRedis信頼性ガイドの全7ステップのうち、ステップ4にあたります。
よくある質問
サーバーのメトリクスは正常なのにRedisのタイムアウトが発生する場合、どこを調べればよいですか?
可能性の高い順に3か所です。クライアントの設定(タイムアウト値、コネクションプールのサイズ、リトライの挙動)、ネットワーク経路(アイドル状態の接続を黙って切断するファイアウォール、ロードバランサー、NATデバイス)、そしてシングルスレッドのイベントループを停滞させる大きなキーやブロッキングコマンドです。実際の本番環境の事例では、10秒のクライアントタイムアウトの原因はすべてクライアント側のリソース枯渇にあり、それに対応するサーバー側のエラーや遅延は一切ありませんでした。
特定のメンテナンス時間帯にRedisの接続が切れるのはなぜですか?
これはほぼ例外なくネットワーク層の症状であり、Redisの問題ではありません。ファイアウォール、ロードバランサー、NATゲートウェイの定期メンテナンスによって、Redisクラスターへの確立済みのTCP接続が黙って切断されることがあります。インシデントが負荷ではなく定期的なスケジュールと相関しているかを確認し、メンテナンス時間帯についてネットワークチームに直接問い合わせてください。
Redisのタイムアウト問題を実際に解決できるクライアント側の設定は何ですか?
最も重要なのは、TCPキープアライブと、クライアントレベルのリトライ/タイムアウトの調整の2つです。ファイアウォールやNATのアイドル接続タイムアウトより短い間隔でTCPキープアライブを有効にすれば、接続が黙って切断されるのを防げます。さらに、コマンドタイムアウト、ソケットレベルのキープアライブ、リトライポリシーをクライアントライブラリのレベル(Java/SpringならLettuceなど)で設定すれば、残りのギャップも埋められます。
大きなキーがRedisのタイムアウトの原因になることはありますか?
あります。Redisはコマンドの実行がシングルスレッドであるため、非常に大きなハッシュ、ソート済みセット、文字列に対するコマンドがイベントループを長時間ブロックし、他のクライアントのコマンドが待ち行列に積み上がってタイムアウトすることがあります。redis-cli --bigkeysやMEMORY USAGE <key>で確認し、数メガバイト規模のキーに対して制限なしのHGETALL、SMEMBERS、LRANGEが使われていないか注意してください。
Redisクライアントのタイムアウトを体系的に診断するにはどうすればよいですか?
まず、RedisサーバーのログとINFOの出力に、タイムアウトの時間帯と相関するものがないかを確認し、クライアント側の問題であることを確かめます。次に、スケジュールとの相関を確認し、クライアントの設定をネットワーク経路のアイドル接続の許容時間と照らし合わせて見直し、大きなキーやブロッキングコマンドの可能性を排除します。それでも問題が続く場合は、パケットレベルの証拠を取得します。
Redisのタイムアウトの診断には、Redis固有の専門知識が必要ですか?
専門知識があると大きな違いが出ます。原因がRedis側、クライアント側、ネットワーク側のいずれであっても、タイムアウトという症状はまったく同じに見えるうえ、Redisの経験がないチームはまずサーバーのチューニングから手を付けがちだからです。この記事で取り上げた本番環境の2つの事例では、いずれも実際に原因となっている層を特定するために、アプリケーション、DevOps、ネットワークの各チームの連携が必要でした。