概要
ある決済処理事業者は、スタンドアロンのRedisインスタンスを利用可能な最大のホストまでスケールさせ、もう後がない状態でした。Clusterモードへの移行は当然の答えでしたが、アプリケーションは、すべてのキーが1つのノードにあることを前提とした複数キーの操作とLuaスクリプトを使っていました。AceMQはこの移行を計画し、検証しました。
課題
Clusterモードでは、キーが異なるスロットにハッシュされる複数キーの操作は拒否されます。大規模なコードベースからそうした操作をすべて見つけ出すのは、見かけ以上に困難です。多くが動的に組み立てられているからです。ハッシュタグを使えば関連するキーを同じスロットに強制的に配置できますが、使いすぎると、移行で解決しようとしているホットノードの問題を再び生み出してしまいます。
環境
トランザクションの重複排除、レート制限、冪等性キーの保存を支えるKubernetes上のRedis。
アプローチ
AceMQは、コードレビューだけに頼らず、実際のトラフィックから実際のコマンドの構成を棚卸ししました。これにより、静的解析では見逃されていた、動的に組み立てられる複数キーの操作が浮かび上がりました。そのうえでスロットの分散を保つよう、ハッシュタグの設計を意図的に絞り込み、二重読み取りによる検証を伴う段階的な移行を行いました。
ソリューション
- 実際のコマンドの構成を棚卸しし、静的なコードレビューでは見逃されていた複数キーの操作とスクリプトを発見
- 関連するキーを同じ場所に置きつつスロットの分散を保てるよう、範囲を狭く絞ったハッシュタグを設計
- 同じ場所に置けない操作を、正しさを損なわずにスロットをまたいで動作するよう書き換え
- インフラを変更する前に、クライアントライブラリのクラスター対応とリダイレクトの処理を検証
- 二重読み取りによる検証と、各フェーズで明確なロールバック地点を設けた段階的な移行を設計
- トポロジーを確定する前に、本番環境のキーのパターンに基づいてスロットの分散とノードごとの負荷をモデル化
結果
この事業者は、垂直方向の上限に代わって水平方向の余裕を確保したClusterモードへ移行し、本番環境のキーのパターンのもとでもスロットの分散は均等に保たれました。気づかれないまま失敗していたはずの複数キーの操作は、切り替え前に発見され、修正されました。