概覽
一家物流供應商在數十個團隊之間累積了數千個 Grafana 儀表板,卻沒有任何擁有權模式。AceMQ 對整體儀表板進行評估,判斷哪些真正有人在用、哪些已經損壞,以及哪些應該標準化。
挑戰
儀表板一再被複製,同一個服務因此有好幾個略有差異的視圖,卻沒有明確的單一事實來源。大量面板引用的指標在服務改寫後早已不存在,工程師經常看著空白的圖表,以為服務處於閒置狀態,而沒有意識到是面板壞了。由於從未追蹤使用情形,根本無從判斷哪些儀表板才是重要的。
環境
部署於 AWS 的 Grafana,服務多個事業單位;儀表板都是透過 UI 臨時建立,沒有任何版本控制。
做法
我們透過 API 取得完整的儀表板清單,將每個面板的查詢與資料來源中實際存在的指標逐一比對,再加入瀏覽統計,依實際使用情形排序。最後產出三份清單——保留、修復與淘汰——並提供一套範本設計,讓日後的儀表板逐步收斂,而不是越來越分歧。
解決方案
- 透過 Grafana API 擷取完整的儀表板與面板清單,包含資料夾與權限結構
- 以即時的資料來源中繼資料驗證每個面板查詢,標記出引用已不存在指標的面板
- 分析瀏覽統計,依實際使用情形為儀表板排序,而不是看誰的聲音最大
- 進行重複分析,找出應合併為單一參數化儀表板的複製儀表板群組
- 設計可重複使用、內含變數的儀表板範本,涵蓋各團隊常見的服務模式
- 建議採用以程式碼佈建(provisioning-as-code)的模式,讓儀表板納入版本控制並指定負責人
成效
儀表板數量大幅縮減為原本的一小部分,留下來的儀表板都有明確負責人並納入版本控制。工程師不再把損壞的面板誤判為服務正常,這原本是事故偵測一再延誤的原因之一。