概要
Kongのレート制限プラグインは、デフォルトでローカルカウンターのポリシーを使用し、各ノード自身のメモリでカウントを保持します。単一ノードであればこれで正しく動作します。しかし水平スケールしたゲートウェイでは、各ノードがそれぞれ独立して上限いっぱいまで許可するため、実質的な上限は設定値にノード数を掛けたものになります。
課題
従量課金プランのお客様が、ドキュメントに記載されたリクエストのクォータを常に超過しており、あるパートナー連携が、レート制限で保護されているはずの下流のサービスを過負荷に陥らせていました。プラグインの設定上、上限は正しく見えていました。ゲートウェイは数か月前に2レプリカから8レプリカへスケールされていましたが、カウンターのポリシーを見直した人はいませんでした。
環境
水平スケールしたデータプレーンを持つKubernetes上のKong。コンシューマー単位でレート制限を適用し、クラスター内でRedisを利用可能。
アプローチ
AceMQは、リクエストをレプリカ間に固定的に振り分ける制御された負荷試験で超過を再現し、実効上限がレプリカ数に比例して増えることを確認しました。そのうえでカウンターの保存先を共有のRedisバックエンドに移し、Redis経由の経路自体も負荷試験しました。共有カウンターはリクエスト経路にネットワークホップを1つ追加するため、独自のタイムアウトと障害時の挙動を定義する必要があるからです。
ソリューション
- ゲートウェイのレプリカに分散させた負荷試験で、クォータの超過を再現
- レート制限のカウンターを、ローカルポリシーから共有のRedisベースのストアへ移行
- カウンターストアの障害時に挙動が予測どおりに劣化するよう、Redisのタイムアウトと耐障害性の挙動を定義
- コンシューマー単位、サービス単位、全体の各上限を分離し、ある上限が別の上限を覆い隠さないように変更
- 共有カウンターの経路を負荷試験し、追加されるレイテンシーがゲートウェイの許容範囲内に収まることを確認
結果
レプリカ数にかかわらず、実際に適用される上限が設定した上限と一致するようになりました。また、レート制限が本来保護すべき下流のサービスが、単一のパートナーからのトラフィックで過負荷になることもなくなりました。