概要
あるヘルスケア分析サービス企業は、キャッシュエントリとユーザーのセッション状態の両方を1つのRedisインスタンスで保持していました。メモリが逼迫すると、エビクションポリシーは削除してよいキーかどうかを区別せずにキーを削除したため、ユーザーは作業の途中でログアウトされていました。AceMQは専任のシニアエンジニアによってRedisサポートを引き継ぎました。
課題
キャッシュとセッションのデータを1つのキー空間に混在させ、単一のエビクションポリシーで運用すると、どのポリシーを選んでも、どちらかのワークロードにとっては誤った選択になります。さらに、多くのキャッシュキーにTTLがまったく設定されていなかったため、volatile系のエビクションポリシーでは削除対象となるキーがなく、インスタンスはOOM(メモリ不足)エラーを返していました。メモリのレポートも誤って解釈されており、フラグメンテーションがデータの増加と取り違えられていました。
環境
臨床分析アプリケーションのセッション状態とクエリ結果のキャッシュを支える、Azure上のRedis。
アプローチ
単一のエビクションポリシーで両方のワークロードに対応することはできないため、AceMQはまずワークロードを分離し、そのうえでそれぞれのTTLとポリシーの設定を修正しました。また、運用チームがデータの増加、フラグメンテーション、レプリケーションバッファの使用量を区別できるよう、メモリのレポートを整理しました。
ソリューション
- セッション状態とキャッシュを別々のインスタンスに分離し、それぞれのワークロードに適したポリシーを設定
- キャッシュキー全体にTTLを一貫して設定し、volatile系のエビクションポリシーで削除対象となるキーを確保
- インスタンスごとのmaxmemoryとエビクションポリシーを、ホストのメモリ量ではなく実測したワーキングセットに基づいて設定
- フラグメンテーション、データ、レプリケーションバッファを正しく読み取れるよう、メモリのレポートを整理
- キャッシュのキー空間で際限のない増加を引き起こしていたキーのパターンを特定し、是正
- プランに応じた15分からの対応目標を掲げ、シニアRedisエンジニアへ24/7でエスカレーションできる体制を確立
結果
メモリ逼迫時のセッション消失は完全になくなり、エビクションで削除対象となるキーが確保されたことで、OOMエラーも解消されました。お客様のチームは現在、メモリのメトリクスを正しく読み取り、増加がインシデントになる前に対処できるようになっています。