返回所有使用案例

問題修復電信

修好總在最糟時刻失靈的監控堆疊

電信業者

修復一套在事故期間無法使用的 Grafana 部署——儀表板總是在工程師最需要的時候逾時。

概覽

一家電信業者的 Grafana 執行個體,每逢重大事故就慢得像在爬,而那正是網路維運團隊最仰賴它的時候。AceMQ 修復的是根本的故障模式,而不是增加更多副本。

挑戰

這個模式其實是自己造成的:事故期間,數十位工程師同時開啟同一組沉重的儀表板,每一個都對資料來源發出大量並行的範圍查詢。後端跟不上,面板逾時,工程師按下重新整理,重試風暴讓情況雪上加霜。Grafana 自身寫入後端資料庫的工作階段與註解,又在此之上增加了爭用。單獨來看沒有任何元件故障;整個系統只在被需要的時候才失靈。

環境

部署在 Kubernetes 上、以關聯式資料庫為後端的 Grafana,跨多個區域查詢 Prometheus 與長期指標儲存。

做法

我們針對事故期間的存取模式、而非穩定狀態的存取模式進行負載測試,重現了這個故障。這讓特別昂貴的面板一目了然。接著我們降低每個儀表板的查詢成本、在資料來源前方加入快取,並將 Grafana 後端資料庫的負載與查詢路徑分開,讓 UI 即使在資料來源變慢時也能保持回應。

解決方案

  1. 以真實的事故存取模式——大量使用者同時檢視相同的儀表板——而非平均流量,設計負載測試
  2. 找出昂貴的面板,並以 recording rule 改寫,讓繁重的彙總只在攝取時計算一次,而不是每位檢視者各算一次
  3. 在資料來源前方加入查詢結果快取,並依各面板的重新整理間隔調校 TTL
  4. 調整儀表板重新整理間隔與預設時間範圍,讓閒置開著的分頁不再持續產生負載
  5. 調校 Grafana 後端資料庫並修正連線池設定,消除註解與工作階段寫入造成的爭用
  6. 設定面板層級的查詢逾時,讓緩慢的資料來源只影響單一面板,而不會讓整個儀表板卡住

成效

事故期間的儀表板載入時間,從數十秒降到幾乎即時,重試風暴的模式也不再發生。網路維運團隊現在能在重大事故期間使用 Grafana,而不必退回去臨時手動下查詢。

技術

GrafanaPrometheusKubernetesPostgreSQL

正面臨 Grafana 正式環境問題嗎?

AceMQ 的資深 Grafana 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。