返回所有使用案例

顧問服務金融服務/交易

只看一個地方,靠一致的標籤在各類訊號之間真正自由切換

金融服務集團

協助將分散各處的指標、日誌與追蹤,整合到單一以 Grafana 為核心、標籤一致的可觀測性層的顧問服務專案。

概覽

一家金融服務集團的指標放在一套工具、日誌放在另一套、追蹤又在第三套,彼此之間沒有任何共用識別碼。AceMQ 設計了以 Grafana 為前端的整合架構,讓工程師能從指標尖峰直接跳到相關的日誌與追蹤,不必重新拼湊脈絡。

挑戰

三種訊號對同一件事各有不同的命名:服務名稱的大小寫與後綴不一致,環境標籤也各自為政,日誌中更沒有共用的追蹤或請求識別碼。要把告警與對應的日誌關聯起來,就得靠人在時間壓力下於不同命名方式之間手動轉換。此外,整個環境中重複部署的 agent 也讓同一台主機被重複抓取好幾次。

環境

混合式環境,包含 Kubernetes 工作負載與舊有虛擬機器,以及多個需依資料落地要求彼此隔離的受監管環境。

做法

設計工作從標籤分類架構著手,而非從工具著手,因為關聯性首先是命名問題,其次才是產品問題。我們定義了一組必要標籤,一致套用於指標、日誌與追蹤;規劃追蹤脈絡傳遞,讓每一行日誌都帶有追蹤識別碼;接著才設計在 agent 層強制執行這套規範的收集拓撲。

解決方案

  1. 針對服務、環境、區域與團隊定義強制性的標籤分類架構,並完全一致地套用於指標、日誌與追蹤
  2. 設計追蹤脈絡傳遞機制,讓日誌行帶有 trace 與 span 識別碼,只要點一下就能在指標、日誌與追蹤之間切換
  3. 將收集拓撲精簡為每台主機只部署一個 agent,消除重複抓取及其儲存成本
  4. 在收集層強制執行資料落地邊界,確保受監管區域的遙測資料絕不跨境傳送
  5. 依訊號類型定義保留層級,高解析度資料短期保留,降採樣資料長期保留
  6. 逐一服務依序遷移並安排雙重發送期間,確保任何團隊在轉換過程中都不會失去可視性

成效

工程師現在可直接在 Grafana 中從告警切換到相關聯的日誌與追蹤,不必再手動轉換識別碼。消除重複收集後,遙測資料量明顯下降;而隨著新服務陸續加入,這套共用的分類架構也始終維持一致。

技術

GrafanaPrometheusLokiTempoKubernetes

需要 Grafana 架構指引嗎?

AceMQ 的資深 Grafana 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。