概覽
WSO2 產品高度仰賴共用的 registry 與設定資料庫。在並行寫入的情況下——協調式重新啟動、大量 API 部署、大型 user store 同步——這些資料表上的鎖定爭用可能造成死結,而外顯症狀就是節點始終無法完成啟動。
挑戰
在一次計畫性維護重新啟動後,gateway 節點間歇性地無法完成啟動,大量 API 部署也會卡在半途。資料庫日誌顯示 registry 資料表上出現死結。連線池的規格遠高於資料庫設定可接受的上限,因此啟動期間的重試風暴不但沒有緩解爭用,反而讓情況更糟。
環境
地端的 WSO2 API Manager 與 Identity Server,共用 PostgreSQL 上的 registry 與 user store 資料庫,部署於多個節點。
做法
AceMQ 將節點啟動順序與資料庫死結日誌相互比對,找出具體發生爭用的資料表及相關操作。接著我們讓節點分階段啟動、依資料庫實際上限修正連線池規格,並將大量部署改為受控的循序執行,而非一次並行爆發。AceMQ 提供 24/7 支援的專屬資深工程師,沒有 Tier-1 分流層。
解決方案
- 比對啟動順序與資料庫死結日誌,找出發生爭用的 registry 資料表
- 依資料庫實際的最大連線數上限,調整連線池至合適規格
- 讓節點分階段啟動,避免所有節點同時初始化 registry 狀態
- 將大量 API 部署操作改為循序執行,而非並行發出
- 調校資料庫端的鎖定與陳述式逾時,讓爭用快速失敗,而不是卡住不動
- 撰寫維護重新啟動程序文件,避免再次引發爭用
成效
維護重新啟動能穩定完成,大量 API 部署也不再卡住。資料庫日誌中已不再出現 registry 資料表的死結。