概要
リアルタイムの画面共有サービスを運営するあるSaaSプラットフォームでは、Redisクラスターのメモリが再起動から次の再起動まで着実に増え続け、一度も減ることがありませんでした。再起動すれば解消するため、問題を放置しやすく、誤診もしやすい状況でした。AceMQは、数週間後に報告書を納品する形ではなく、お客様のエンジニアにも同席いただく合計14時間・6回のライブ作業セッションとして本案件を進めました。
課題
2つの別々の問題が、1つの症状として表れていました。メモリ上限が誤って7GBに設定されていたため、本来エビクションすべきタイミングでインスタンスがエビクションしておらず、さらにRedis Searchが、インデックスの設計時に想定していなかった高頻度の書き込みパターンのもとで性能劣化を起こしていました。どちらか一方だけなら耐えられるものでしたが、両方が重なったことで典型的なメモリリークのような増加が生じ、通常のエビクションポリシーの修正では解決しませんでした。
環境
Sentinelでフェイルオーバーを管理するコンテナ化されたRedis。リアルタイムコラボレーション製品のセッション状態を保持。
アプローチ
セッションは、再現し、計測し、変数を1つだけ変え、再び計測するという、あえて対話的な形式で進めました。この形式により、両方の修正を一度に適用して何も学べないという事態を避け、メモリ上限の設定ミスとRedis Searchの挙動を切り分けることができました。
ソリューション
- メモリ上限を修正し、意図したしきい値でエビクションポリシーが実際に作動するように変更
- 高頻度の書き込みによるRedis Searchの性能劣化を、リークの症状ではなく独立した原因として特定
- コンテナを時間差でローテーションする仕組みを導入し、クラスター全体を同時に再起動せずに段階的にメモリを回収
- ローテーション中のフェイルオーバーの挙動が予測どおりになるよう、Sentinelの設定をレビュー
- 両方の原因をもっと早く表面化できたはずのメモリとインデックスのメトリクスを追加
- AceMQに頼らなくても、お客様のエンジニアが自らローテーションを実行できる状態を実現
結果
メモリの増加は抑えられ、本番システムは安定しました。本案件の後の期間に重大な障害は報告されておらず、プラットフォームはメンテナンスウィンドウを設けることなく、改善作業の間も稼働を続けました。