概覽
一家保險服務供應商同時使用廠商 agent 與 OpenTelemetry 檢測,追蹤經常在兩者的交界處中斷。AceMQ 提供持續的技術支援,在服務不斷變動的同時,確保脈絡傳遞始終正常運作。
挑戰
不同服務使用不同的標頭格式傳遞脈絡,而交界兩側的服務都被設定為只接受其中一種。當請求從使用廠商 agent 的服務進入使用 OpenTelemetry 的服務時,傳入的脈絡會被忽略,並另起一條新的追蹤。經過訊息代理的非同步節點更是完全遺失脈絡,因為沒有任何機制把脈絡注入訊息標頭。每加入一個新服務,這個問題就會在新的地方重新出現。
環境
混合式環境,包含 Java 與 .NET 服務,混用廠商 agent 與 OpenTelemetry 檢測,各層之間以訊息驅動方式整合。
做法
技術支援涵蓋客戶自有的檢測,而非廠商的資料接收平台。我們統一採用一種各處都接受的傳遞格式,將訊息節點上的脈絡注入納入共用函式庫,而不是交由各團隊自行負責,並新增一項合成的端對端追蹤檢查,在傳遞中斷時即告失敗。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,並由熟悉整個環境追蹤拓撲的專屬資深工程師負責
- 在廠商 agent 與 OpenTelemetry 服務之間統一單一傳遞格式,並在過渡期間同時接受兩種格式
- 將訊息代理的脈絡注入與擷取移入共用函式庫,讓非同步節點預設即可傳遞脈絡
- 持續執行合成端對端交易,當追蹤無法涵蓋完整路徑時發出告警
- 協調各服務的取樣設定,讓上游與下游的取樣決策一致
- 將檢測審查納入客戶的新服務檢查清單,讓每個新加入的服務一開始就設定正確
成效
追蹤現在能涵蓋包含非同步節點在內的完整請求路徑,合成檢查也能在部署後數分鐘內抓出傳遞機制的退化。新服務加入環境時就已完成正確的檢測,不必事後再補救。