このページの内容
INFO memoryを確認すると、使用メモリが増え続けている。キー数を確認すると、横ばいか、むしろ減っている。これはRedisの運用で最も戸惑う障害パターンの1つです。計算が合わず、チームは本当の原因を見つけるまでに、見当違いの容疑者を何日も追いかけることがよくあります。
本記事では、数週間にわたる実際の本番環境の調査をもとに、重要だった具体的なコマンドとしきい値も含めて、診断と対処の方法を順に解説します。
キー数が横ばいなのに、メモリが増え続けるのはなぜか
ほとんどの場合、答えはキーではなく、インデックスです。
RediSearch(全文検索/セカンダリインデックスのモジュール)や同様のインデックス作成モジュールを使っている場合、インデックス自体がメインのキースペースとは独立してメモリを消費します。際限なく大きくなるインデックスは、多くの場合、意図したよりもはるかに頻繁に再構築や更新が行われているのが原因で、DBSIZEには何の異常も表れないまま、maxmemoryの上限に向かって増え続けることがあります。
これは、複数回のセッションにわたるRedisのアセスメントで直接診断されたものです。チームは、メモリリークがRedisの全文検索インデックスのプラグインに関連していることを確認しました。メモリ使用率は60%に向かって上昇し、再インデックスの処理中にクラッシュを引き起こしていました。Justin ClarkとEugene Abovskyは、これをインデックス作成モジュールのソフトウェアバグと特定しました。ハードウェアや設定の問題ではなく、メインのキースペースで起きていることでもまったくありませんでした。
最初の診断ステップ:各検索インデックスでFT.INFO <index_name>を実行し、報告されるインデックスのメモリフットプリントを確認します。それをINFO memoryの合計used_memoryと比較してください。インデックスが不釣り合いに大きく、しかも増え続ける割合を占めているなら、リークの発生源が見つかったことになります。データの中ではなく、その上に載っているインデックス構造にあるのです。
インデックスがこのようにメモリリークを起こす具体的な原因は何か
最もよくある根本原因は、頻度は高いが価値の低い更新による過剰な再インデックスです。
ある本番環境の調査では、チームはリークの原因をデバイスのハートビート更新にまでたどりました。実際の変更がごくささいなものであっても、ハートビートのたびに関連するドキュメントの完全な再インデックスが走っていたのです。そうした再インデックスのたびに回収されないメモリが残り、ハートビートは絶えず発生していたため、リークは数時間かけて積み重なり、最終的にインスタンスがクラッシュしました。
同じ調査で特定されたもう1つの要因は、UUIDフィールドのようなインデックスを作成する必要のないフィールドのインデックス化です。UUIDのようなカーディナリティの高いフィールドをインデックス化すると、インデックスのメモリフットプリントが大きく膨らむ一方で、クエリ上の利点はほとんどありません。UUIDが範囲クエリやあいまい検索の対象になることはまれだからです。
自社の環境について確認すべき診断の問い:
- 実際にどのフィールドがインデックス化されているか。そして、クエリはそのすべてを実際に使っているか
- 何がドキュメントの更新を引き起こしているか。意味のある状態の変化なのか、それともハートビートやタイムスタンプの更新のような高頻度のシグナルなのか
- 定期的な再インデックスのジョブが動いているか。そして、それは実際に完了してメモリを解放しているのか、それとも気付かないうちに失敗しているのか
いまメモリリークを起こしているRedisインスタンスを安定させる最速の方法は
メモリが上限に向かって増え、クラッシュが目前に迫っているインシデントの最中であれば、実績のある応急処置があります。影響を受けているインデックスを削除して再構築することです。
根本原因の解決にはなりませんが、当面の緩和策として、リークしたメモリを確実に回収できます。あるインシデントでは、インデックスを削除して再構築したことで、設定上の上限に対するメモリ使用率が50%から36%に下がりました。根本的な修正を開発している間、システムを安定させるのに十分な余裕です。
応急処置の手順:
FT.INFOで、どのインデックスが不釣り合いに増えているかを確認する- 可能であれば、削除と再構築をトラフィックの少ない時間帯に予定する。大きなインデックスの再構築は一瞬では終わらず、一時的にクエリの可用性に影響する
FT.DROPINDEX <index_name>を実行する(削除したいのはキーではなくインデックス構造だけなので、元のハッシュ/JSONデータを保持したい場合はDDを付けない)FT.CREATEでインデックスを再作成する- その後、
FT.INFOとINFO memoryを監視し、回収した状態が維持されていることを確認する
この問題が繰り返し発生する本番環境では、これを定期ジョブとして自動化することもできます。ただし、あくまで緩和策であって修正ではないと考えてください。再インデックスのきっかけに手を打たないまま回避策を自動化しても、クラッシュする時期が先に延びるだけです。
クラッシュを実際に防げる設定変更は何か
再インデックスのきっかけそのものを直すことに加えて、根本的な修正を開発している間の影響範囲を小さくする設定レベルの変更が2つあります。
明示的なmaxmemoryと適切なエビクションポリシーを設定する。あるインシデントでは、重要な顧客向けにシステムの安定性を守るため、チームは新しいmaxmemoryの設定とallkeys-lruのエビクションポリシーを導入しました。キャッシュヒット率の多少の低下と引き換えに、メモリ枯渇でインスタンスが突然クラッシュしないことを保証したのです。これは、リークの調査が進行中の間に、性能よりも安定性を優先した意図的なトレードオフであり、必ずしも恒久的な方針ではありません。
該当する場合は、ガベージコレクションの挙動をチューニングする。モジュールを多用するRedis環境では、メモリの保持の挙動を改善するために、積極的なGCのチューニングが試されました。モジュールのベンダーがGC関連の設定を公開しているなら、調べてみる価値があります。
頻度は高いが価値の低いデータを、インデックス対象のキーから分離する。根本的な調査で特定された最も持続的な対策は、アーキテクチャの変更でした。ハートビートのような変動の激しいデータを、インデックス対象のキーから完全に切り離し、日常的なステータスのpingが再インデックスをそもそも引き起こさないようにするのです。それ以外は安定しているドキュメントの、ごく一部のフィールドだけを頻繁に更新するアプリケーションパターンであれば、変動するフィールドを、インデックス対象外の別のキーに保存することを検討してください。
これを直すために、Redisのバージョンをアップグレードすべきか
その可能性はありますが、まず具体的なバグを確認してください。本記事を通して取り上げる調査では、影響を受けた環境が古いリリースを使っていたため、メモリリークが後続のRedisバージョンで修正済みの既知の問題かどうかを確認することも診断プロセスの一部でした。検索モジュールのソースコードを独自に解析し、既知のパッチバージョンが、観測された特定のリークパターンに対処しているかどうかを特定しました。
アップグレードを修正策として決める前に、次の点を確認してください。
- 使用しているモジュールのバージョンに対して、後続のリリースでメモリリークの修正が文書化されているか
- リークが本当にモジュール自体にあるのか、それともインデックスの作り方にあるのか(アップグレードしてもUUIDのインデックス化の問題は直らない)
- テスト済みのロールバック計画があるか。本番環境でのRedisのバージョンアップグレードには、ステートフルなサービスのアップグレードと同じだけの注意が必要である
これはValkeyへの移行を検討する理由になるか
より広い改善計画の一部として検討する価値はあります。とくにライセンス面の考慮もしている場合はなおさらです。まさにこの種のモジュール関連の不安定さに直面したチームの中には、調査を機にValkeyとの互換性を並行してテストし、既存のクライアントコードとインデックスの作り方がValkey上でもまったく同じように動作するかを、どちらに進むかを決める前に検証したところもあります。この判断については、別の記事で詳しく解説しています。
安定させたあと、継続的な監視はどうあるべきか
当面のクラッシュのリスクに対処したら、同じことが気付かないうちに再発しないよう、恒久的な監視を整備してください。
- インデックスのメモリを独立したメトリクスとして追跡する。合計の
used_memoryだけを見るのではなく、FT.INFOのメモリと合計メモリを並べて表示するダッシュボードのパネルを用意すれば、次のリークを使用率60%になってからではなく、早い段階で把握できます。 - 再インデックスのジョブの頻度と所要時間にアラートを設定する。再インデックスの周期が予期せず変わった場合、つまり頻度が増えたり、気付かないうちに完了しなくなったりした場合は、それが早期警告です。
- maxmemoryのエビクションポリシーが、実際のデータ損失の許容度と合っているかを確認する。
allkeys-lruは安定性を守る一方で、メモリが逼迫するとデータを追い出します。それがユースケース上許容できないなら、本当の修正はエビクションポリシーではなく、再インデックスのきっかけに対処することです。
Redisのメモリリークとインデックスの肥大化についてご相談ください
キー数とは無関係にRedisのメモリが増え続けていませんか?AceMQは、こうしたパターンを、インデックスの肥大化、再インデックスのきっかけ、モジュールのバグといった本当の発生源までたどります。汎用的なインフラのチューニングでは見つからないものです。AceMQは本番環境向けにエンタープライズ向けRedisサポートを提供しています。AceMQのエンジニアにご相談ください。
本記事は、Redis信頼性ガイドの全7ステップのうち3番目です。このガイドでは、本番環境で問題が発生する順に解説しています。
よくある質問
Redisのキー数が横ばいなのに、メモリが増え続けるのはなぜですか?
ほとんどの場合、増加の原因はキースペースではなくインデックスです。RediSearchなどのインデックス作成モジュールはメインのキースペースとは独立してメモリを消費するため、再構築や更新が頻繁すぎるインデックスは、DBSIZEに何の異常も表れないままmaxmemoryに向かって増え続けることがあります。確認するには、各検索インデックスでFT.INFO <index_name>を実行し、そのメモリフットプリントをINFO memoryの合計used_memoryと比較してください。
Redisのインデックスがこのようにメモリリークを起こす原因は何ですか?
最もよくある根本原因は、頻度は高いが価値の低い更新による過剰な再インデックスです。たとえば、pingのたびにドキュメント全体の再インデックスを引き起こすハートビートのフィールドなどです。もう1つの要因は、カーディナリティの高いUUIDフィールドのように、インデックスを作成する必要のないフィールドをインデックス化していることです。クエリ上の利点がほとんどないまま、インデックスのメモリフットプリントを膨らませます。
いまメモリリークを起こしているRedisインスタンスを安定させる最速の方法は?
影響を受けているインデックスを削除して再構築することです。根本原因の解決にはなりませんが、当面の緩和策として、リークしたメモリを確実に回収できます。あるインシデントでは、設定上の上限に対する使用率が50%から36%に下がりました。トラフィックの少ない時間帯に予定し、FT.INFOで増え続けているインデックスを確認してから、FT.DROPINDEX(データを保持するためDDは付けない)を実行し、FT.CREATEで再作成します。
Redisのメモリリークによるクラッシュを実際に防げる設定変更は何ですか?
明示的なmaxmemoryとallkeys-lruのエビクションポリシーを設定し、キャッシュヒット率の多少の低下と引き換えに、メモリ枯渇でインスタンスが突然クラッシュしないようにします。モジュールのベンダーがガベージコレクションの設定を公開しているなら、その挙動もチューニングします。最も持続的な対策は、ハートビートのような頻度は高いが価値の低いデータをインデックス対象のキーから分離し、日常的な更新が再インデックスをそもそも引き起こさないようにすることです。
メモリリークを直すために、Redisのバージョンをアップグレードすべきですか?
その可能性はありますが、まず具体的なバグを確認してください。使用しているモジュールのバージョンに対して、後続のリリースでメモリリークの修正が文書化されているか、リークが本当にモジュールにあるのか、それともインデックスの作り方にあるのか、そしてアップグレードに踏み切る前にテスト済みのロールバック計画があるかを確認します。
Redisのメモリリークは、Valkeyへの移行を検討する理由になりますか?
より広い改善計画の一部として検討する価値はあります。とくにライセンス面の考慮もしている場合はなおさらです。Valkeyとの互換性を並行してテストし、クライアントコードとインデックスの作り方がまったく同じように動作するかを検証すれば、最初から移行を決めることなく選択肢を評価できます。
Redisのメモリリークを安定させたあと、継続的な監視はどうあるべきですか?
集計値だけに頼るのではなく、インデックスのメモリを合計used_memoryとは別のメトリクスとして追跡します。再インデックスのジョブの頻度と所要時間にアラートを設定し、予期しない変化を早期に捉えます。allkeys-lruは安定性を守る一方で、メモリが逼迫するとデータを追い出すため、maxmemoryのエビクションポリシーが実際にデータ損失の許容度と合っているかも確認してください。