概要
あるデジタルメディアプラットフォームでは、Memcachedのノードを交換したり、大量のキーが一斉に期限切れになったりするたびに、データベースの障害が繰り返し起きていました。AceMQは、キャッシュの層と、その周辺のアプリケーションのパターンを対象とした継続的なサポートを提供しています。
課題
コンシステントハッシュのリングでノードを1つ失うと、そのノードが担当していたキーが再マッピングされ、再マッピングされたすべてのキーが一斉にキャッシュミスになります。同時再生成に対する保護がなかったため、何千ものリクエストが同じ重い値を同時に再計算し、データベースを飽和させていました。一斉期限切れでも同じことが起きていました。デプロイ中にまとめて投入されたキーは同じTTLを持つため、同時に期限切れになるからです。日常的なノードのメンテナンスが、変更承認の問題になっていました。
環境
リレーショナルデータベースの前段に置かれたAWS上のMemcachedの層と、頻繁にデプロイが行われるKubernetes上のアプリケーションサーバー。
アプローチ
スタンピードの防止はキャッシュだけでは解決できないアプリケーション側の課題であるため、この案件のサポートはキャッシュと、それを利用するアプリケーションのパターンの両方に及びます。当社はお客様のエンジニアと一緒にリクエストの集約とTTLのジッターに取り組み、ノードのトポロジー変更を、一大事ではなく管理された作業にしています。
ソリューション
- キャッシュのトポロジーとその利用者を把握している専任のシニアエンジニアによる、プランに応じた15分からの対応目標付きの24/7サポート
- 欠けている値を再生成するのは1つの呼び出し元だけで、他は待機するよう、アプリケーション層にリクエストの集約を追加
- まとめて投入されたキーが同時に期限切れにならず、一斉期限切れを起こさないよう、TTLにジッターを適用
- ノードの変更で再マッピングされるキーの割合が最小限になるよう、コンシステントハッシュの設定をレビュー
- 計画外の交換に代わる、事前のウォームアップを伴う管理されたノードの追加と削除の手順
- 性能が低下しつつあるノードを失う前に検知できるよう、ノードごとのヒット率、エビクション、get-missを監視
結果
ノードを交換してもデータベースの負荷が急増しなくなり、TTLのジッターを適用してからは一斉期限切れもなくなりました。キャッシュのメンテナンスは、変更承認が必要な一大事から、日常的な運用作業に戻りました。