概覽
WSO2 API Manager 可以在各閘道節點本機評估流量限制,也可以透過 traffic manager 集中評估。當閘道節點與 traffic manager 失去連線,或兩者之間的事件主題設定錯誤時,各節點的限流決策就會出現分歧,實際執行的限制也不再符合公告的政策。
挑戰
計量方案的使用者超出了訂閱額度,但只是偶發性的,而且無法在任何單一節點上重現。閘道節點曾經擴充,而新節點的 traffic manager 事件接收器設定與原有節點不一致,導致限流決策事件無法送達所有節點。在高負載下,這種分歧會進一步擴大。
環境
Kubernetes 上的 WSO2 API Manager,包含多個閘道節點、traffic manager 層與共用的使用者存放區。
做法
AceMQ 從 traffic manager 一路追蹤限流決策事件到每個閘道節點,找出沒有收到事件的節點。我們修正了事件接收器設定,接著刻意對每個節點送出流量,在負載下驗證限流的一致性。
解決方案
- 追蹤從 traffic manager 到各閘道節點的限流決策事件流,找出缺口所在
- 修正擴充時新增之閘道節點上的事件接收器與主題設定
- 統一限流政策層級與金鑰範本,讓各節點以完全相同的方式評估政策
- 為與 traffic manager 失去連線的閘道節點定義故障時的行為
- 逐一對每個節點送出流量,在負載下驗證實際執行的限制
- 將閘道節點設定範本化,避免未來擴充時發生設定偏移
成效
所有閘道節點實際執行的流量限制都與公告的訂閱方案一致,日後增加閘道容量時,也不再有重新引發分歧的風險。