返回所有使用案例

問題修復軟體/數位平台

上游服務日誌從未看過的間歇性 502 錯誤

數位商務平台

追查 Kong 閘道間歇性出現的 502 錯誤,最後發現根源在於主動健康檢查設定錯誤,以及上游服務名稱的 DNS 解析結果過時。

概覽

Kong 回傳 502,代表閘道無法從上游目標取得可用的回應。棘手之處在於上游往往是健康的——問題出在閘道連線的位址早已不存在,或是因為健康檢查檢查錯了東西,而把健康的目標剔除。

挑戰

有一小部分請求持續回傳 502,上游應用程式日誌中卻找不到對應的紀錄,這表示問題不在應用程式,而在閘道對其目標的認知。主動健康檢查設定的路徑會對未經驗證的探測回傳 401,導致 Kong 的斷路器把健康的目標剔除。另一方面,Kong 的 DNS 快取在 TTL 過期後仍保留已解析的上游 IP,因此持續連線到早已被重新排程的 Pod。

環境

部署於 Kubernetes 上的 Kong 閘道,位於容器化微服務前端;上游以服務 DNS 名稱定義,Pod 經常被重新排程。

做法

AceMQ 將閘道存取日誌與 Kong 本身的錯誤日誌,與上游 Pod 的生命週期事件交叉比對,讓 502 的爆發時間點與重新排程對齊。由此確認 DNS 快取行為是原因之一,健康檢查端點需要驗證則是另一個原因。兩者都已修正,並在刻意進行的滾動重啟下完成驗證。

解決方案

  1. 將 Kong 錯誤日誌與上游 Pod 生命週期事件交叉比對,讓 502 爆發與重新排程的時間點對齊
  2. 將主動健康檢查改指向無須驗證、能回傳真實健康訊號的存活端點
  3. 調整 DNS 解析與 TTL 處理方式,讓閘道不再連線到過時的上游位址
  4. 調整被動健康檢查的門檻,讓短暫錯誤不再導致健康目標被剔除
  5. 強制對每個上游服務進行滾動重啟,驗證修正成效

成效

間歇性的 502 錯誤已完全消除,上游服務進行滾動部署時,閘道也不再出現錯誤高峰。

技術

KongKubernetesNGINXPostgreSQLDocker

正面臨 Kong 正式環境問題嗎?

AceMQ 的資深 Kong 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。