概覽
一家能源公用事業仰賴 Grafana 告警,監控各發電與配電據點的營運。AceMQ 提供持續的技術支援,涵蓋告警規則行為、通知路由與資料來源穩定性。
挑戰
從舊版告警遷移到 unified alerting 後,這家公用事業的規則觸發情況變得不一致。有些告警永遠不會解除,因為底層序列已停止回報,而規則沒有任何 no-data 處理。有些告警則反覆跳動,因為評估間隔比 scrape 間隔還短,規則經常在資料空檔時進行評估。通知政策已長成一棵沒有人完全看得懂的樹,而一條標籤錯誤的路由,讓某一類告警一直悄悄地無處可去。
環境
混合式部署的 Grafana,監控地端 SCADA 相關基礎架構與雲端服務,告警會送進值班輪班工具。
做法
技術支援把告警規則當成正式環境程式碼來對待。我們會檢視每條規則的 no-data 與錯誤處理,將評估間隔對齊底層 scrape 與 recording rule 的週期,並驗證每一條通知政策路徑都確實送達真人。規則變更在上線前,會先以歷史資料進行測試。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,並由熟悉整個告警環境的專屬資深工程師負責
- 稽核每一條告警規則的 no-data 與執行錯誤處理,讓無聲失敗變得可見
- 將評估間隔與 for 持續時間對齊 scrape 與 recording rule 週期,消除因資料空檔造成的反覆跳動
- 簡化通知政策樹,並以測試告警逐一端到端驗證每條路由
- 以佈建設定管理告警規則與 contact point,讓變更可以審查、也可以還原
- 定期檢視告警數量與確認率,汰除沒有人處理的規則
成效
修正反覆跳動的規則後,告警雜訊大幅減少,原本無處可去的路由現在也能送達值班人員。工程師重新信任告警,這一點也反映在更快的確認時間上。