概要
あるSaaS事業者は、期待外れのヒット率を改善するために、Memcachedの規模を2倍にしようとしていました。AceMQはまずこのキャッシュ層を評価し、キャパシティが本当に制約になっているのかを確かめました。
課題
全体のヒット率は低く見えたため、メモリを増やすのが当然の答えに思えました。しかし、全体の数値の裏には2つの別々の問題が隠れていました。1つは、getのかなりの割合が一度しか読まれないキーに対するもので、これは仕組み上必ずキャッシュミスになり、メモリをいくら増やしても解決しません。もう1つは、2つのクライアントライブラリ間でハッシュの設定が異なっていたためにリング上のキーの分布が大きく偏り、一部のノードが容量の限界近くでエビクションを起こす一方で、別のノードは半分空いたままになっていたことです。
環境
異なるクライアントライブラリを使う2つの言語のサービスからアクセスされる、AWS上のMemcachedキャッシュ層。
アプローチ
この評価では、ヒット率を1つの数値として扱わず、キーのパターンごとに分解したうえで、ノードごとの実際のキーとメモリの分布を計測します。これにより、本質的にキャッシュできないトラフィックと、メモリを増やせば効果が出るワークロードを切り分け、ノードを追加しても解決しない分布の問題を明らかにします。
ソリューション
- ヒット率をキーのプレフィックスとアクセスパターンごとに分解し、一度しか読まれないキーと本当に再利用されるキーを区別
- ノードごとのキー数とメモリの分布を計測し、リングの偏りを可視化
- 2つの言語のクライアントライブラリのハッシュ設定を比較し、偏りの原因となっている不一致を特定
- キャパシティ要件を「とりあえず2倍」という推測ではなく計測に基づかせるため、キーの種類ごとにワーキングセットのサイズを推定
- キャッシュできないアクセスパターンを特定し、キャッシュ経路から外す候補としてアプリケーションチームに提示
- キャパシティを一切追加しない案も含め、選択肢ごとに見込まれるヒット率を示したサイジングの推奨事項
結果
クライアントのハッシュ設定の不一致を修正したことでリングの偏りが解消され、新しいハードウェアを追加することなくヒット率が大幅に向上しました。予定していたキャパシティの倍増は中止され、代わりに1種類のキーを対象とした小規模な増強が計画されました。