返回所有使用案例

問題修復軟體/數位平台

當監控 agent 本身變成效能問題

數位商務平台

修復應用程式延遲與記憶體成長問題,追查發現根源在於客戶自身 JVM 與容器環境上的 APM agent 設定。

概覽

一家商務平台在升級 agent 之後,發現 p99 延遲不斷攀升,容器記憶體也持續成長。AceMQ 修正了 agent 設定以及它與 JVM 之間的互動,這屬於客戶端的範圍,廠商技術支援並不負責調校。

挑戰

由於框架的檢測功能無法辨識自訂的路由器,交易命名退回以每個 URL 命名的方式,導致每一條不同的路徑都產生一筆獨立的交易。這引發了指標分組問題,也讓 agent 內部的名稱快取隨流量不斷膨脹。另外,一個吞吐量極高的服務以全量取樣啟用了分散式追蹤,為每個請求增加了可量測的額外負擔,並帶來持續的記憶體配置壓力,表現為更長的垃圾回收暫停時間。

環境

在 Kubernetes 上執行、使用自訂路由框架的 Java 服務,請求吞吐量高,容器記憶體有限制。

做法

我們在相同負載下分別啟用與停用 agent 進行對照測試,將 agent 造成的額外負擔與應用程式本身的行為區分開來。量化 agent 的成本之後,我們修正交易命名,讓 agent 不再產生無上限的名稱,並將取樣率設定在適合該服務吞吐量的水準。

解決方案

  1. 在受控負載下對照啟用與停用 agent 的情況,量化實際的額外負擔,而不是用估算
  2. 透過明確的 API 呼叫修正交易命名,讓自訂路由器產生數量有限且有意義的名稱
  3. 解決指標分組問題,消除導致記憶體成長、無上限的 agent 內部名稱快取
  4. 降低最高吞吐量服務的分散式追蹤取樣率,同時在錯誤路徑上保留完整取樣
  5. 依 agent 的實際記憶體用量重新調整 JVM 堆積與容器記憶體限制,而不是沿用導入 agent 前的配置
  6. 在推出前,先於預備環境以接近正式環境的負載測試 agent 版本升級路徑

成效

記憶體不再持續成長,p99 延遲也回到升級前的水準。交易資料再次變得有用,因為它現在依有意義的端點分組,而不是依每一個不同的 URL。

技術

New RelicJavaKubernetesLinux

正面臨 New Relic 正式環境問題嗎?

AceMQ 的資深 New Relic 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。