概要
あるコラボレーションプラットフォームでは、顧客向け製品の背後で、Redisをセッションと検索のレイヤーとして運用していました。再起動のたびにメモリが着実に増え続け、やがてクラスターがクラッシュするというパターンは、何度かのリサイズを経ても解消されていませんでした。
課題
メモリの増加はトラフィックに比例していなかったため、メモリを追加しても効果はありませんでした。さらに、クラスターに設定されていたメモリの上限は単位なしで指定されていたため、意図した上限が実際には一度も適用されていませんでした。再起動すればメモリは回復しましたが、セッションが失われていました。
環境
レプリカとSentinelによるフェイルオーバーを備えたコンテナ化されたRedisで、マネージドクラウド環境上で高頻度の書き込みワークロードを処理する構成。
アプローチ
AceMQのエンジニアはCI用のクラスターでメモリの増加を再現し、インデックスを削除して再構築するとメモリが元に戻ることを確認して、原因を全文検索インデックスに絞り込みました。さらに、この挙動が、使用中の検索モジュールのバージョンにある既知の不具合と一致することを確認しました。アップグレードの道筋を評価する間の安全な暫定策として、マスターより先にレプリカを順番に再起動する手順をチームに提供しました。
ソリューション
- 原因を切り分けるため、非本番のクラスターでメモリの増加を再現
- リークの原因を、アプリケーションのワークロードではなく全文検索モジュールと特定
- 単位なしで設定されていたメモリの上限を修正
- クラスターがクラッシュするのではなく縮退するよう、エビクションポリシーを明示的に設定
- フェイルオーバーのリスクを避けるため、レプリカを先に、マスターを後に順番に再起動する手順を導入
- フィーチャーフラグによる段階的なロールアウトを前提に、サポートされる長期的な選択肢としてValkeyを評価
結果
メモリの増加は、もはやインシデントではなくなりました。クラスターはメンテナンスウィンドウの間も安定し、チームは自分たちで実行できる文書化された緩和策を手にし、Valkeyへの移行は緊急対応ではなく計画的な変更として進められました。