返回所有使用案例

技術支援軟體/數位平台

速率限制放行了 N 倍的配額,而 N 正是您的節點數量

B2B SaaS 供應商

修正速率限制允許的流量達到設定配額數倍的問題,原因是外掛在多節點 gateway 上使用了 local 計數器政策。

概覽

Kong 的速率限制外掛預設使用 local 計數器政策,將計數保存在每個節點自己的記憶體中。在單一節點上這是正確的;但在水平擴展的 gateway 上,這代表每個節點都會各自獨立執行完整的限制,因此實際上限是設定值乘以節點數量。

挑戰

使用計量方案的客戶持續超出文件記載的請求配額,而一個合作夥伴整合更衝垮了速率限制原本要保護的下游服務。外掛設定中的限制看起來是正確的。幾個月前,gateway 已從兩個複本擴展到八個,卻沒有人重新檢視計數器政策。

環境

部署於 Kubernetes 上的 Kong,data plane 水平擴展,速率限制依 consumer 套用,叢集內有可用的 Redis。

做法

AceMQ 透過將請求固定分散到各複本的受控負載測試,重現了超額問題,確認實際限制會隨複本數量增加。我們將計數器儲存移到共用的 Redis 後端,接著對 Redis 路徑本身進行負載測試,因為共用計數器會在請求路徑中多加一次網路往返,需要另外定義其逾時與故障行為。

解決方案

  1. 以分散到各 gateway 複本的負載測試重現配額超額問題
  2. 將速率限制計數器從 local 政策移到以 Redis 為後端的共用儲存
  3. 定義 Redis 逾時與容錯行為,讓計數器儲存中斷時能以可預測的方式降級
  4. 將 per-consumer、per-service 與全域限制分開,避免彼此遮蔽
  5. 對共用計數器路徑進行負載測試,確認增加的延遲仍在 gateway 的延遲預算內

成效

無論複本數量多少,實際執行的限制現在都與設定一致,而速率限制原本要保護的下游服務,也不再被單一合作夥伴的流量衝垮。

技術

KongRedisKubernetesPostgreSQL

需要專業的 Kong 技術支援嗎?

AceMQ 的資深 Kong 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。