概覽
當 CloudHub worker 因記憶體壓力而重新啟動時,平台只會告訴您發生了這件事,卻不會告訴您是哪個流程、哪個 object store,或是哪個 connector 的洩漏造成的。這項分析屬於應用程式端,也正是 AceMQ 的工作範圍:我們調校並除錯客戶在 MuleSoft 上執行的內容,但不負責營運 MuleSoft 本身。
挑戰
worker 一天重新啟動好幾次,導致處理中的訊息遺失。應用程式使用記憶體內 object store 存放去重複鍵,卻沒有設定到期;快取的查詢資料無限制成長;而 connector 的設定在每次請求時都開啟新連線,沒有使用連線池。這些成因單獨存在時都還撐得住,但加在一起,每天都會突破 worker 的記憶體上限。
環境
跨多個環境在 CloudHub 上執行的 Mule 應用程式,整合銷售時點(POS)、庫存與 ERP 系統。
做法
AceMQ 將重新啟動的時間戳記與應用程式行為及 worker 指標相互對照以縮小範圍,接著檢視 object store 設定、快取範圍與 connector 連線池這三個最常見的應用程式端記憶體黑洞。專屬資深工程師直接處理問題,提供 24/7 涵蓋與 依方案而定、最快 15 分鐘起的回應目標。
解決方案
- 將 worker 重新啟動事件與流程活動及記憶體指標相互對照,找出造成問題的流程
- 將沒有上限的記憶體內 object store 改為設有明確 TTL 的持久性儲存
- 為快取範圍設定上限,並對無限制成長的查詢資料設定逐出政策
- 為每次請求都開啟新連線的 connector 啟用連線池
- 加入訊息層級的持久性,讓意外重新啟動不再導致處理中的工作遺失
- 依實測的穩定狀態與尖峰記憶體用量,調整 worker 配置規格
成效
每天發生的 worker 重新啟動不再出現,處理中的訊息現在能在重新啟動後保留下來,而不會遺失。worker 規格也改依實測行為設定,而不再憑猜測。