導入事例の一覧に戻る

コンサルティング金融サービス・決済

複数キーの操作を壊さずにClusterモードへ移行する

グローバル決済処理事業者

垂直スケールしたスタンドアロンのRedisからClusterモードへの移行を計画しました。ハッシュタグの設計と、クロススロット操作の是正も含みます。

概要

ある決済処理事業者は、スタンドアロンのRedisインスタンスを利用可能な最大のホストまでスケールさせ、もう後がない状態でした。Clusterモードへの移行は当然の答えでしたが、アプリケーションは、すべてのキーが1つのノードにあることを前提とした複数キーの操作とLuaスクリプトを使っていました。AceMQはこの移行を計画し、検証しました。

課題

Clusterモードでは、キーが異なるスロットにハッシュされる複数キーの操作は拒否されます。大規模なコードベースからそうした操作をすべて見つけ出すのは、見かけ以上に困難です。多くが動的に組み立てられているからです。ハッシュタグを使えば関連するキーを同じスロットに強制的に配置できますが、使いすぎると、移行で解決しようとしているホットノードの問題を再び生み出してしまいます。

環境

トランザクションの重複排除、レート制限、冪等性キーの保存を支えるKubernetes上のRedis。

アプローチ

AceMQは、コードレビューだけに頼らず、実際のトラフィックから実際のコマンドの構成を棚卸ししました。これにより、静的解析では見逃されていた、動的に組み立てられる複数キーの操作が浮かび上がりました。そのうえでスロットの分散を保つよう、ハッシュタグの設計を意図的に絞り込み、二重読み取りによる検証を伴う段階的な移行を行いました。

ソリューション

  1. 実際のコマンドの構成を棚卸しし、静的なコードレビューでは見逃されていた複数キーの操作とスクリプトを発見
  2. 関連するキーを同じ場所に置きつつスロットの分散を保てるよう、範囲を狭く絞ったハッシュタグを設計
  3. 同じ場所に置けない操作を、正しさを損なわずにスロットをまたいで動作するよう書き換え
  4. インフラを変更する前に、クライアントライブラリのクラスター対応とリダイレクトの処理を検証
  5. 二重読み取りによる検証と、各フェーズで明確なロールバック地点を設けた段階的な移行を設計
  6. トポロジーを確定する前に、本番環境のキーのパターンに基づいてスロットの分散とノードごとの負荷をモデル化

結果

この事業者は、垂直方向の上限に代わって水平方向の余裕を確保したClusterモードへ移行し、本番環境のキーのパターンのもとでもスロットの分散は均等に保たれました。気づかれないまま失敗していたはずの複数キーの操作は、切り替え前に発見され、修正されました。

使用テクノロジー

RedisKubernetesTerraformPrometheus

Redisのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアRedisエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。