概要
Kongのプラグインはすべてリクエストパス上で実行されます。2年かけて複数のチームが積み上げてきたプラグインチェーンは、前段に置かれたアップストリームサービスそのものよりも大きなレイテンシを生むことが珍しくありません。その原因として多いのが、ブロッキングなネットワーク呼び出しを行うカスタムLuaプラグインです。
課題
ゲートウェイのp99レイテンシは、特定のデプロイが原因とは言えないまま、じわじわと悪化していました。プラグインチェーンには、役割が重複する認証関連のプラグインが複数含まれていたほか、外部サービスに対して同期的なルックアップを行うカスタムLuaプラグインや、出力先が断続的に詰まるロギングプラグインも含まれていました。
環境
エンドツーエンドのレイテンシ要件が厳しい決済承認サービスの前段に配置された、Kubernetes上のKong。
アプローチ
AceMQは、プラグインチェーン全体を1つの数値として扱うのではなく、プラグインごと・フェーズごとにレイテンシを切り分けられるようゲートウェイを計装し、そのうえで個々のプラグインを無効化した状態での比較検証を行いました。これにより、実際に時間を消費しているプラグインと、疑わしく見えるだけのプラグインを切り分けました。
ソリューション
- リクエストのレイテンシを、チェーン全体ではなくプラグインごと・実行フェーズごとに切り分け
- 本番相当の負荷のもとで、個々のプラグインを無効化した比較A/Bテストを実施
- accessフェーズでブロッキングな外部呼び出しを行っていたカスタムLuaプラグインを特定
- 役割が重複していた認証プラグインを、検証済みの単一のパスに統合
- 出力先の詰まりがテールレイテンシを押し上げていた箇所について、非同期またはバッファリング方式のロギングを推奨
- 新規プラグインが満たすべき、プラグインごとのレイテンシバジェットを策定
結果
ブロッキングしていたカスタムプラグインを改修し、認証チェーンを統合した結果、ゲートウェイが付加するp99レイテンシは大幅に低下しました。さらにチームは、今後のプラグインを評価するためのレイテンシバジェットを手に入れました。