概要
あるコマースプラットフォームでは、シリアライズしたオブジェクトの形式を変更した後にキャッシュヒット率が急落し、サーバーは未使用メモリがあると報告しているにもかかわらず、エビクションが急増しました。その分の負荷がデータベースにかかり、ページのレイテンシも悪化しました。
課題
Memcachedはアイテムのサイズに応じてメモリをスラブクラスに割り当て、デフォルトでは一度あるクラスに割り当てたページはそのクラスに固定されたままになります。シリアライズ形式の変更によって典型的なアイテムのサイズが、割り当て済みページのほぼすべてを抱えるクラスとは別のサイズクラスへ移りました。新しいクラスはすぐに満杯になってエビクションを始めた一方、古いクラスはほとんど空のまま残りました。これはスラブ固着の典型的な症状です。どのダッシュボードでも総メモリ量は問題なく見えていたため、チームは容量不足を原因候補から外していました。
環境
セッションとオブジェクトのキャッシュとしてリレーショナルデータベースの前段に置かれたMemcached層。アプリケーションサーバーはKubernetes上で稼働。
アプローチ
メモリ全体の集計値ではなくスラブクラスごとの統計を読み解いたことで、数分のうちに偏りが明らかになりました。当面の対処として、ページがクラス間を移動できるようスラブのリバランスを有効にしました。恒久的な対策は、アイテムサイズを意図して設計すること、そしてこの障害パターンを実際に検知できるメトリクスを監視することでした。
ソリューション
- スラブクラスごとの統計を分析し、集計メトリクスでは隠れていた「エビクションが起きているのに空きメモリがある」という矛盾を可視化
- スラブの自動リバランスを有効化し、ワークロードの変化に合わせてページがサイズクラス間を移動できるように設定
- 成長係数(growth factor)とチャンクサイズを、デフォルト値ではなく実際のアイテムサイズ分布に照らして見直し
- アプリケーション層でシリアライズ後のオブジェクトサイズを削減し、アイテムが予測どおりのクラスに収まるように改善
- 問題を覆い隠していた総メモリのグラフに代えて、クラスごとのエビクション数とページ数の監視を追加
- キャッシュの再起動時にデータベースへアクセスが殺到しないよう、再起動とウォームアップの手順を策定
結果
1時間以内にヒット率は以前の水準に戻り、ホットなクラスでのエビクションはほぼゼロまで減少しました。データベースの読み取り負荷も通常に戻りました。その後、クラスごとの監視によって2度目のサイズ変化を影響が出る前に検知できています。