概覽
Kong 回傳 502,代表閘道無法從上游目標取得可用的回應。棘手之處在於上游往往是健康的——問題出在閘道連線的位址早已不存在,或是因為健康檢查檢查錯了東西,而把健康的目標剔除。
挑戰
有一小部分請求持續回傳 502,上游應用程式日誌中卻找不到對應的紀錄,這表示問題不在應用程式,而在閘道對其目標的認知。主動健康檢查設定的路徑會對未經驗證的探測回傳 401,導致 Kong 的斷路器把健康的目標剔除。另一方面,Kong 的 DNS 快取在 TTL 過期後仍保留已解析的上游 IP,因此持續連線到早已被重新排程的 Pod。
環境
部署於 Kubernetes 上的 Kong 閘道,位於容器化微服務前端;上游以服務 DNS 名稱定義,Pod 經常被重新排程。
做法
AceMQ 將閘道存取日誌與 Kong 本身的錯誤日誌,與上游 Pod 的生命週期事件交叉比對,讓 502 的爆發時間點與重新排程對齊。由此確認 DNS 快取行為是原因之一,健康檢查端點需要驗證則是另一個原因。兩者都已修正,並在刻意進行的滾動重啟下完成驗證。
解決方案
- 將 Kong 錯誤日誌與上游 Pod 生命週期事件交叉比對,讓 502 爆發與重新排程的時間點對齊
- 將主動健康檢查改指向無須驗證、能回傳真實健康訊號的存活端點
- 調整 DNS 解析與 TTL 處理方式,讓閘道不再連線到過時的上游位址
- 調整被動健康檢查的門檻,讓短暫錯誤不再導致健康目標被剔除
- 強制對每個上游服務進行滾動重啟,驗證修正成效
成效
間歇性的 502 錯誤已完全消除,上游服務進行滾動部署時,閘道也不再出現錯誤高峰。