返回所有使用案例

技術支援能源/公用事業

該響時會響、不該響時保持安靜的告警

能源公用事業營運商

針對維運監控環境中的 Grafana unified alerting、通知路由與資料來源可靠性,提供持續的技術支援。

概覽

一家能源公用事業仰賴 Grafana 告警,監控各發電與配電據點的營運。AceMQ 提供持續的技術支援,涵蓋告警規則行為、通知路由與資料來源穩定性。

挑戰

從舊版告警遷移到 unified alerting 後,這家公用事業的規則觸發情況變得不一致。有些告警永遠不會解除,因為底層序列已停止回報,而規則沒有任何 no-data 處理。有些告警則反覆跳動,因為評估間隔比 scrape 間隔還短,規則經常在資料空檔時進行評估。通知政策已長成一棵沒有人完全看得懂的樹,而一條標籤錯誤的路由,讓某一類告警一直悄悄地無處可去。

環境

混合式部署的 Grafana,監控地端 SCADA 相關基礎架構與雲端服務,告警會送進值班輪班工具。

做法

技術支援把告警規則當成正式環境程式碼來對待。我們會檢視每條規則的 no-data 與錯誤處理,將評估間隔對齊底層 scrape 與 recording rule 的週期,並驗證每一條通知政策路徑都確實送達真人。規則變更在上線前,會先以歷史資料進行測試。

解決方案

  1. 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,並由熟悉整個告警環境的專屬資深工程師負責
  2. 稽核每一條告警規則的 no-data 與執行錯誤處理,讓無聲失敗變得可見
  3. 將評估間隔與 for 持續時間對齊 scrape 與 recording rule 週期,消除因資料空檔造成的反覆跳動
  4. 簡化通知政策樹,並以測試告警逐一端到端驗證每條路由
  5. 以佈建設定管理告警規則與 contact point,讓變更可以審查、也可以還原
  6. 定期檢視告警數量與確認率,汰除沒有人處理的規則

成效

修正反覆跳動的規則後,告警雜訊大幅減少,原本無處可去的路由現在也能送達值班人員。工程師重新信任告警,這一點也反映在更快的確認時間上。

技術

GrafanaPrometheusAlertmanagerLinux

需要專業的 Grafana 技術支援嗎?

AceMQ 的資深 Grafana 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。