On this page
Redisのヘルスチェック(アセスメント)とは、下位環境で障害を再現し、監視データを実際のインシデントのタイムラインと突き合わせ、根本原因が設定の誤りなのかコードのバグなのかを切り分け、本番環境に届く前にすべての修正を検証する、体系的な診断の取り組みです。一度きりのスクリプトや設定の監査ではありません。実際の原因を立証できるまで、少しずつ範囲を絞り込んでいく一連の作業セッションです。
以下の内容は、SaaS型のカスタマーサポートプラットフォームを提供するお客様と、数週間にわたり7回の作業セッションで実施した、実際のRedisインシデント対応の取り組みに基づいています。ここで紹介する所見は、仮定のチェックリストではなく、現場で得られた結果です。
アセスメントはどのように始まり、最初に何を集めるのか?
最初のセッションは、トラブルシューティングではなく情報の聞き取りです。誰かが設定ファイルに手を触れる前に、アセスメントでは過去のインシデントと障害のパターンのタイムラインを集めます。どのインスタンスが、いつクラッシュし、どのように復旧したのか。タイムスタンプがおおよそのものしかなくても構いません。
タイムラインとあわせて、redis-cliの出力と現在の状態のスナップショット、稼働中の設定、そしてどのノードをマスターとするかを決めるためにそのデプロイが使っているDNSのブートストラップや選出のロジックを収集します。インシデントが発生した時間帯のログの履歴、つまりメモリ割り当てのイベント、エビクションの動き、再起動のイベントも加えます。この段階では、まだ何も修正しません。「Redisがクラッシュし続ける」という漠然とした説明ではなく、次のセッション以降で検証の拠り所となる具体的な材料を用意するのが目的です。
本番環境に触れずに、Redisのインシデントを再現するには?
同じコンテナイメージ、同じRedisの設定、同じデプロイのトポロジーと、本番環境にできる限り近い下位環境を構築し、障害のパターンが意図的に現れるまで負荷をかけます。
この取り組みでは、お客様のECSのデプロイで使われているものとまったく同じイメージを動かすDocker Composeの環境を構築し、同程度の量のキーとインデックスのドキュメントを投入したうえで、本番システムで見られたのと同じ再インデックスと更新のパターンを実行しました。この再現環境こそが、アセスメント全体を通じて最も価値のある成果物です。本番環境の外でクラッシュを確実に再現できるようになれば、不適切なエビクションポリシー、インデックスのレイヤーでのリーク、レプリケーションのタイミングの問題といった、その後のあらゆる仮説を、本番障害を一度も起こすことなく、何度でも安全に検証し、否定できます。
プレッシャーの下でチームが最もよく省略するのがこの手順であり、そして最も時間を無駄にするのもこの省略です。再現環境がなければ、すべての修正は、稼働中のシステムに直接当てはめる当て推量になってしまいます。
Redisのメトリクスとインシデントのタイムラインは、どのように突き合わせるのか?
再現できたら、次の問いは、それが本番環境で実際に起きたことと本当に一致しているかどうかです。そのためには、メトリクスと履歴を別々の話として扱うのではなく、監視データを実際のインシデントのタイムスタンプと並べて照合する必要があります。
この取り組みでは、お客様の既存のGrafanaダッシュボードを出発点とし、既知のクラッシュそれぞれの前後でのメモリ使用量、CPU、レプリケーションの挙動のタイムラインをたどりました。すると、すぐに抜けが見つかりました。ダッシュボードはホストレベルのインフラのメトリクスは追跡していたものの、実際にRedisの障害を予兆するRedis固有のシグナル、つまりused_memory、evicted_keys、レプリケーションの遅延を追跡していなかったのです。Grafanaと並行して別の監視ツールであるNew Relicもありましたが、同じ目的で一貫して使われてはおらず、全体像を1か所で把握できる場所が誰にもありませんでした。アセスメントの成果の一部は、この抜けを埋めることでした。ダッシュボードを1つに統一する必要はありませんが、使っているすべてのツールが、一般的な稼働状況だけでなく、この障害にとって重要なメトリクスを表示できなければなりません。
設定の誤りと、本物のRedisのバグを見分けるには?
どのRedisのインシデントも、いずれこの分かれ道に行き着きます。これはリーク、つまりアプリケーションやインデックスのモジュールのデータの扱いにバグがあるためにメモリが増え続けているのか。それとも、正しい設定によって完全に防げるはずの、サイジングとエビクションの問題なのか。
外から見れば、どちらもメモリが増え続け、やがてインスタンスがクラッシュするという同じ姿をしています。しかし、必要な修正は正反対です。本物のリークに対してエビクションをいくら厳しくチューニングしても、クラッシュを先送りするだけで何の解決にもなりません。逆に、本当の問題がそもそもエビクションが発動するはずのない設定にあるのなら、アプリケーションのコードでリークを追いかけても何日も無駄にすることになります。
両者を切り分ける方法は、下位環境で構築した再現環境に対して、正しいとわかっている設定をテストすることです。適切にサイジングしたmaxmemoryとエビクションポリシーでクラッシュが再現しなくなれば、根本原因は設定でした。正しい設定でもクラッシュが起きるなら、リークは本物で、コードのどこかに潜んでいます。その場合は、通常のキー空間の外で実際に何がメモリを消費しているのかを調べることになりますが、それは本記事で扱う範囲を超えた、より深い診断です。(キーの数とは無関係にメモリを消費するインデックスという、その具体的な診断については、Redisのメモリリーク調査を別途詳しく解説した記事で順を追って説明しています。)
アセスメントで何がわかったのか?バグではなく、サイジングの不一致
この取り組みでは、答えは結局その両方でした。ただし、最初に見つかり、最も修正しやすかった問題は、コードではなく設定でした。本番インスタンスのエビクションポリシーには、ワークロードにはより大きなインスタンスが必要になるという以前の設計上の想定の名残で、およそ7GBのフットプリントを前提としたmaxmemoryの上限が設定されていました。ところが、実際の本番インスタンスで使えるメモリは約2GBしかありませんでした。上限がマシンの実際の容量をこれほど大きく上回っていたため、インスタンスはエビクションが発動する理由が生じるずっと前に物理メモリを使い果たし、クラッシュしていたのです。この安全装置は書類の上では正しく設定されていましたが、実際には一度も作動していませんでした。
この所見を立証できたのは、それまでの手順があったからこそです。再現環境では、エビクションが「有効」であってもクラッシュが起きることが確認され、タイムラインの突き合わせからは、どのインシデントでもエビクションのカウンターがゼロのままだったことがわかりました。Redisのエビクションポリシーそのものの仕組み、つまりallkeys-lruとその他の7つの選択肢との違い、maxmemory-samplesが精度にどう影響するか、そして上限を正しくサイジングする方法については、Redisのエビクションポリシーのガイドで詳しく解説しています。
フェイルオーバーによる障害のリスクを冒さずに、Redisのコンテナを再起動するには?
メモリの増加が予想外の出来事ではなく、既知の管理された状態になっても、本格的なインシデントを待たずに、稼働中のインスタンスの負荷を和らげる方法が必要になることはよくあります。この取り組みから生まれた手法は、意図的に順序を決めた、段階的なローリングでのコンテナの再起動です。レプリカが先、マスターは最後。
考え方のポイントは、混乱がどこに及ぶかです。レプリカを1台停止し、復帰して再同期するのを待ち、2台目のレプリカも同じように停止します。どちらの手順も書き込み権限を持つノードには影響しないため、選出は起きず、クライアントから見える中断もありません。両方のレプリカが新しいコンテナで復帰してから、初めてマスターを再起動します。この時点で、フェイルオーバーの選出はすでにクリーンな状態のレプリカに対して行われます。そもそも和らげようとしていたのと同じメモリの逼迫を抱えたままのノードに、選出を強いることはありません。
マスターを先に再起動すると、この関係が逆転します。負荷がかかった状態で即座に強制的な選出が起き、新たに選ばれたマスター自体もまだ劣化しているため、結局それをもう一度再起動することになります。レプリカを先にする順序にすれば、2回の中断が1回のきれいな作業になり、長引く障害ではなく、数分単位で復旧できます。
インシデントになる前に、Redisのメモリの増加を捉えるには?
段階的な再起動は、いわば圧力を逃がす弁であって、監視の戦略ではありません。この取り組みで導入した長期的な対策は、空きメモリに対する監視アラートです。エビクションの上限よりかなり手前、設定したmaxmemoryのおよそ中間点に設定し、インスタンスが強制的なエビクションに近づくずっと前に、全文検索インデックスのプロアクティブな再構築を開始します。
考え方はシンプルです。インスタンスが上限の90%に達するまで待ってから対応したのでは、安全に手を打つ余地が残りません。中間点でアラートを出せば、すでにお客様に影響が出ているメモリ逼迫の最中ではなく、通常のメンテナンス時間帯に、チームが管理するスケジュールで、膨らんでいくインデックスを削除して再構築する時間を確保できます。その状態を能動的に監視し、対処する何かが必要です。誰も見ていないしきい値は安全装置ではなく、設定ファイルの中の数字にすぎません。
Redisのヘルスアセスメントを終えると、何が変わるのか?
この取り組みは、誰も実行しない長い推奨事項のリストではなく、負荷テスト済みの具体的な変更をいくつか行って完了しました。maxmemoryは、理想とする将来の容量ではなく、インスタンスの実際の容量に合わせて、およそ1,100MBに設定し直しました。あわせて、安定性を守るガードレールとしてallkeys-lruのエビクションポリシーを設定し、本番環境に近づける前に、下位環境で負荷がかかったときに実際にエビクションが行われることを確認しました。
設定の修正とあわせて、レプリカをマスターより先に再起動する手順を定めた文書化された再起動のランブック、症状ではなく実際のメモリのしきい値に結び付けた監視アラート、そしてチームが当初使っていたインフラレベルの表示に欠けていたRedis固有のメトリクス、つまりused_memory、evicted_keys、レプリケーションの遅延を表示するよう作り直した監視ダッシュボードを整備しました。バージョンアップグレードもプラットフォームの移行も、何ひとつ必要ありませんでした。必要だったのは、何かを変える前に、実際に何が壊れているのかを根拠をもって把握することでした。
体系的なRedisヘルスアセスメントのご依頼
再現環境もタイムラインの突き合わせもないまま、Redisのメモリの問題を追いかけていませんか?そうやって、インシデントは何週間にも長引いていきます。AceMQは、障害を安全に再現し、本当の原因を切り分け、当て推量のリストではなく、検証済みの修正とランブックをお渡しする、複数回のセッションによる体系的なRedisヘルスアセスメントを実施しています。AceMQのRedisサポートについて詳しくご覧ください。AceMQのエンジニアにご相談ください。
継続的なサポートの契約面についてはRedisサポートが実際にカバーする範囲を、時間外の対応経路についてはRedisの24/7インシデント対応をご覧ください。
関連リソース
よくある質問
Redisのヘルスチェック(アセスメント)とは何ですか?
複数回のセッションにわたる体系的な診断の取り組みであり、一度きりのスクリプトや設定の監査ではありません。下位環境で障害を再現し、監視データを実際のインシデントのタイムラインと突き合わせ、原因が設定の誤りなのかコードレベルのバグなのかを切り分け、本番環境に適用する前に修正を検証します。
本番環境に触れずに、Redisのメモリの問題を再現できますか?
できます。確実な方法は、本番環境で動いているものとまったく同じコンテナイメージを使って下位環境を構築し、障害のパターンが再現するまで負荷をかけることです。これにより、本番障害のリスクを冒さずに、エビクションポリシーの変更、再起動の順序、インデックスの再構築の挙動を試せるサンドボックスが手に入ります。
Redisのメトリクスとインシデントのタイムラインは、どのように突き合わせるのですか?
メモリ使用量、CPU、レプリケーションの遅延、エビクションされたキーの数といったダッシュボードのデータを、過去のクラッシュや再起動の正確なタイムスタンプと並べて照合します。インシデントを実際に経験したチームと一緒に監視ダッシュボードのタイムラインをたどると、生のログから始めるよりも早くパターンが浮かび上がります。
Redisのクラッシュが、コードのバグではなく設定の問題だと見分けるにはどうすればよいですか?
下位環境で再現した障害に対して、修正した設定をテストします。適切にサイジングしたmaxmemoryとエビクションポリシーでクラッシュが止まれば、サイジングか設定の問題です。正しい設定でもクラッシュが再現するなら、アプリケーションかモジュールのレイヤーにあるリークかバグを疑うべきであり、エビクションだけでは解決しません。
段階的な再起動で、なぜマスターより先にRedisのレプリカを再起動するのですか?
レプリカを先に、マスターを最後に再起動すれば、フェイルオーバーの選出は、すでに再起動を終えたばかりのノードに対して行われます。マスターを先に再起動すると、まだ劣化したままの古いノードへ即座に選出が行われ、そのノードをもう一度再起動し直すことになります。1回のきれいな作業で済むはずが、より多くの混乱と2度目の中断を招きます。
Redisのアラートは、メモリがどのしきい値に達したら発報すべきですか?
監視のしきい値は、エビクションの上限ちょうどではなく、それよりかなり手前に設定してください。設定したmaxmemoryのおよそ中間点をしきい値にすれば、インスタンスが強制的なエビクションやメモリ不足によるクラッシュに近づくずっと前に、チームがプロアクティブにインデックスを再構築したり、調査したりする時間を確保できます。
Redisの監視には、New RelicとGrafanaの両方が必要ですか?
必ずしも両方は必要ありませんが、標準として採用するツールには、Redis専用のパネルを組み込む必要があります。ホストのCPUやネットワークは表示しても、used_memory、evicted_keys、レプリケーションの遅延を表示しない汎用的なインフラのダッシュボードでは、Redisのクラッシュを予兆するまさにそのシグナルを見逃してしまいます。
Redisのヘルスアセスメントの成果物として、何が得られますか?
文書化された根本原因のタイムライン、インスタンスの実際のサイズに合わせてチューニングし検証済みのmaxmemoryとエビクションポリシー、レプリカをマスターより先に再起動する手順を定めた再起動のランブック、そしてインフラレベルのノイズではなく、実際にインシデントを予兆していたメトリクスに結び付けた監視アラートです。
Talk to an engineer
Need a hand with Redis?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
ガイド・製品比較・調査レポート

