導入事例の一覧に戻る

サポートソフトウェア・デジタルプラットフォーム

キャッシュが空になる瞬間を乗り切る

デジタルメディアプラットフォーム

ノードの変更やキャッシュの一斉期限切れの後に、データベースへの負荷が殺到しがちだったMemcachedの層を継続的にサポートしています。

概要

あるデジタルメディアプラットフォームでは、Memcachedのノードを交換したり、大量のキーが一斉に期限切れになったりするたびに、データベースの障害が繰り返し起きていました。AceMQは、キャッシュの層と、その周辺のアプリケーションのパターンを対象とした継続的なサポートを提供しています。

課題

コンシステントハッシュのリングでノードを1つ失うと、そのノードが担当していたキーが再マッピングされ、再マッピングされたすべてのキーが一斉にキャッシュミスになります。同時再生成に対する保護がなかったため、何千ものリクエストが同じ重い値を同時に再計算し、データベースを飽和させていました。一斉期限切れでも同じことが起きていました。デプロイ中にまとめて投入されたキーは同じTTLを持つため、同時に期限切れになるからです。日常的なノードのメンテナンスが、変更承認の問題になっていました。

環境

リレーショナルデータベースの前段に置かれたAWS上のMemcachedの層と、頻繁にデプロイが行われるKubernetes上のアプリケーションサーバー。

アプローチ

スタンピードの防止はキャッシュだけでは解決できないアプリケーション側の課題であるため、この案件のサポートはキャッシュと、それを利用するアプリケーションのパターンの両方に及びます。当社はお客様のエンジニアと一緒にリクエストの集約とTTLのジッターに取り組み、ノードのトポロジー変更を、一大事ではなく管理された作業にしています。

ソリューション

  1. キャッシュのトポロジーとその利用者を把握している専任のシニアエンジニアによる、プランに応じた15分からの対応目標付きの24/7サポート
  2. 欠けている値を再生成するのは1つの呼び出し元だけで、他は待機するよう、アプリケーション層にリクエストの集約を追加
  3. まとめて投入されたキーが同時に期限切れにならず、一斉期限切れを起こさないよう、TTLにジッターを適用
  4. ノードの変更で再マッピングされるキーの割合が最小限になるよう、コンシステントハッシュの設定をレビュー
  5. 計画外の交換に代わる、事前のウォームアップを伴う管理されたノードの追加と削除の手順
  6. 性能が低下しつつあるノードを失う前に検知できるよう、ノードごとのヒット率、エビクション、get-missを監視

結果

ノードを交換してもデータベースの負荷が急増しなくなり、TTLのジッターを適用してからは一斉期限切れもなくなりました。キャッシュのメンテナンスは、変更承認が必要な一大事から、日常的な運用作業に戻りました。

使用テクノロジー

MemcachedLinuxPostgreSQLKubernetes

Memcachedの専門家によるサポートが必要ですか?

AceMQのシニアMemcachedエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。