概覽
一家支付處理商已大範圍啟用 APM,但追蹤經常在新舊服務的交界處中斷。AceMQ 評估了整個服務群的檢測覆蓋率,精準找出內容傳遞(context propagation)中斷的位置。
挑戰
較新的服務採用自動檢測,而幾個較舊的服務則是多年前依照舊得多的函式庫版本手動檢測。請求在兩者之間傳遞時,追蹤內容標頭會被丟棄,使得同一筆邏輯交易顯示為數個互不相關的追蹤。經由訊息代理的非同步跳轉則完全遺失追蹤內容。最終結果是,業務最重視的系統環節中的延遲完全看不見,而檢測完善的服務看起來卻像是覆蓋得面面俱到。
環境
混合式服務群,包含 Kubernetes 服務與執行於虛擬機器上的舊有 Java 與 Python 應用程式,各層之間透過訊息傳遞溝通。
做法
評估會盤點每個服務的追蹤器函式庫版本與檢測方式,再端對端追蹤實際的正式環境請求路徑,找出追蹤內容真正遺失的位置。由於 AceMQ 並不營運該廠商平台,所有發現都聚焦於客戶的程式碼、函式庫與傳遞設定,也就是客戶能夠修改的部分。
解決方案
- 盤點每個服務的追蹤器函式庫版本與檢測方式,標示出傳遞預設值不相容的版本
- 端對端追蹤實際的正式環境請求路徑,找出追蹤內容被丟棄的確切跳轉點
- 另行評估非同步與訊息驅動的跳轉,因為這些環節的內容傳遞需要明確處理載體(carrier)
- 逐一檢視各服務的取樣設定,避免 head-based 取樣決策在不知不覺中丟棄關鍵的追蹤
- 依業務關鍵路徑而非修復難易度排序的檢測修復優先計畫
- 針對原本就需要改寫的服務,評估遷移至廠商中立的 OpenTelemetry 檢測的路徑
成效
核心支付路徑的端對端追蹤完整性從零碎片段提升到近乎完整,進而揭露了一個舊有服務中從未出現在任何儀表板上的延遲來源。修復待辦清單依業務影響排序,而不是看哪個團隊自願先做。