概覽
每一個 Kong 外掛都在請求路徑上執行。一條由不同團隊花兩年拼湊而成的外掛鏈,所增加的延遲很容易就超過它前端所代理的上游服務;而在外掛中進行阻塞式網路呼叫的自訂 Lua 外掛,通常就是元兇。
挑戰
閘道的 p99 延遲持續攀升,卻找不到任何一次部署可以歸咎。外掛鏈中包含數個職責重疊的驗證相關外掛、一個會對外部服務進行同步查詢的自訂 Lua 外掛,以及寫入目的地時而堵塞的日誌外掛。
環境
部署於 Kubernetes 上的 Kong,位於支付授權服務前端,端對端延遲預算十分嚴格。
做法
AceMQ 為閘道加入量測機制,依外掛與執行階段逐一歸因延遲,而不是把整條外掛鏈視為單一數字;接著在停用個別外掛的情況下進行對照比較。藉此區分出真正耗時的外掛,以及只是看起來可疑的外掛。
解決方案
- 依外掛與執行階段歸因請求延遲,而非將整條外掛鏈視為整體
- 在接近正式環境的負載下,停用個別外掛進行受控的 A/B 比較
- 找出在 access 階段進行阻塞式外部呼叫的自訂 Lua 外掛
- 將職責重疊的驗證外掛整併為單一經過驗證的路徑
- 針對因目的地堵塞而拉高尾端延遲的情況,建議改用非同步或緩衝式日誌記錄
- 為每個外掛訂定延遲預算,新外掛必須符合此預算
成效
在重新改寫阻塞式自訂外掛並整併驗證鏈之後,閘道在 p99 增加的延遲大幅下降,團隊也有了延遲預算,可用來評估未來的外掛。