概覽
一家金融服務集團的指標放在一套工具、日誌放在另一套、追蹤又在第三套,彼此之間沒有任何共用識別碼。AceMQ 設計了以 Grafana 為前端的整合架構,讓工程師能從指標尖峰直接跳到相關的日誌與追蹤,不必重新拼湊脈絡。
挑戰
三種訊號對同一件事各有不同的命名:服務名稱的大小寫與後綴不一致,環境標籤也各自為政,日誌中更沒有共用的追蹤或請求識別碼。要把告警與對應的日誌關聯起來,就得靠人在時間壓力下於不同命名方式之間手動轉換。此外,整個環境中重複部署的 agent 也讓同一台主機被重複抓取好幾次。
環境
混合式環境,包含 Kubernetes 工作負載與舊有虛擬機器,以及多個需依資料落地要求彼此隔離的受監管環境。
做法
設計工作從標籤分類架構著手,而非從工具著手,因為關聯性首先是命名問題,其次才是產品問題。我們定義了一組必要標籤,一致套用於指標、日誌與追蹤;規劃追蹤脈絡傳遞,讓每一行日誌都帶有追蹤識別碼;接著才設計在 agent 層強制執行這套規範的收集拓撲。
解決方案
- 針對服務、環境、區域與團隊定義強制性的標籤分類架構,並完全一致地套用於指標、日誌與追蹤
- 設計追蹤脈絡傳遞機制,讓日誌行帶有 trace 與 span 識別碼,只要點一下就能在指標、日誌與追蹤之間切換
- 將收集拓撲精簡為每台主機只部署一個 agent,消除重複抓取及其儲存成本
- 在收集層強制執行資料落地邊界,確保受監管區域的遙測資料絕不跨境傳送
- 依訊號類型定義保留層級,高解析度資料短期保留,降採樣資料長期保留
- 逐一服務依序遷移並安排雙重發送期間,確保任何團隊在轉換過程中都不會失去可視性
成效
工程師現在可直接在 Grafana 中從告警切換到相關聯的日誌與追蹤,不必再手動轉換識別碼。消除重複收集後,遙測資料量明顯下降;而隨著新服務陸續加入,這套共用的分類架構也始終維持一致。