概覽
Quota 與 SpikeArrest 解決的是不同的問題,行為也不一樣。SpikeArrest 在 message processor 層級平滑瞬間速率;Quota 則是在一段時間窗內,以分散式計數器進行累計。在需要其中一種的地方設定了另一種,就會出現這位客戶遇到的那種症狀。
挑戰
合作夥伴的呼叫量遠低於合約約定的額度,卻收到限流回應;同時,單一合作夥伴的真實突發流量仍然直達後端,拖慢了後端服務。SpikeArrest 的速率是假設只有單一 message processor 來設定的,而 Quota 政策也沒有設定為分散式或同步模式,導致各 processor 之間的計數出現落差。
環境
以 Apigee X 作為訂位與庫存後端的前端閘道,並在 API 產品中定義合作夥伴分級配額。
做法
AceMQ 依行為類型——突發平滑或合約用量——將預期的商業速率限制對應到正確的政策上,並修正計數器的分散設定。接著,我們以同時重現合作夥伴穩定負載與真實突發流量的負載情境進行驗證。
解決方案
- 明確區分突發平滑(SpikeArrest)與合約用量控管(Quota)
- 啟用分散式與同步計數,讓配額計數不會在各 message processor 之間產生落差
- 讓配額識別碼與 API 產品及開發者應用程式對齊,而非沿用 proxy 層級的預設值
- 依實際服務流量的 message processor 數量,修正 SpikeArrest 速率
- 上線前,以持續性的合作夥伴流量與真實的突發情境進行負載測試
成效
合作夥伴的正常流量不再於合約額度以下遭到拒絕,突發流量如今也會在閘道端被平滑處理,而不會原封不動地衝到後端。