概覽
一家支付處理商原本以為整個環境都已完整監測,直到一個未被涵蓋的元件發生服務中斷,花了好幾個小時才找到問題所在。AceMQ 評估了各服務、相依元件與背景工作的實際涵蓋範圍。
挑戰
涵蓋範圍看起來很完整,因為每個已部署的服務都掛上了 agent。但清冊沒有發現的是,好幾條關鍵程式碼路徑其實依然看不見:背景 worker 與排程作業沒有產生任何 transaction,因為沒有任何東西標記它們的進入點;自訂的資料庫存取層無法被自動監測辨識;而透過內部 HTTP 用戶端包裝函式發出的對外呼叫,只顯示為沒有目標歸屬的一般外部 segment。地圖上看起來有涵蓋,實際上的漏洞卻正好出現在最難除錯的地方。
環境
混合式環境,包含 Java 與 Node.js 服務、排程批次作業,以及自訂的資料存取與 HTTP 用戶端函式庫。
做法
這項評估不是去計算 agent 的數量,而是檢查每個服務實際產生的遙測資料,是否對得上它實際在做的事。我們會將部署清冊與回報中的 entity 比對,逐一檢查每個服務的 transaction 與 segment 資料是否呈現預期的型態,並特別深入檢查自動監測已知會遺漏的區域。
解決方案
- 將部署清冊與回報中的 entity 進行比對,找出已部署卻悄悄沒有回報的服務
- 逐一檢查每個服務的 transaction 與 segment 資料是否符合預期型態,而不是假設掛上 agent 就代表有涵蓋
- 特別檢查背景 worker、排程作業與 consumer 迴圈,因為這些很少會被自動監測
- 找出自訂資料存取與 HTTP 用戶端包裝函式這類監測盲點,並定義明確的修正方式
- 將告警與儀表板涵蓋範圍對照關鍵業務路徑,找出有監控卻沒有告警的元件
- 依影響範圍排序的修正待辦清單,並為每個項目估計所需投入
成效
結果發現,儘管 agent 都已就位,仍有約五分之一的關鍵業務程式碼路徑是 APM 看不見的。在為最高優先順序的缺口加入自訂監測後,過去要花好幾小時才能定位的那類服務中斷,現在在最初幾分鐘內就能看見。