概覽
一家 SaaS 供應商的值班工程師已經習慣反射性地確認告警,因為大多數告警都不需要任何處理。AceMQ 提供持續的技術支援,讓監控環境保持有意義,並在客戶自己的 Datadog 組織中與其團隊並肩合作。
挑戰
多年來監控項目不斷累積,卻沒有任何汰除流程。許多監控使用的靜態門檻,是依照早已不存在的流量水準設定的,因此每逢正常尖峰就會觸發。Composite monitor 造成告警風暴,一個底層故障就產生數十則呼叫。Multi-alert monitor 依照一個後來變成高基數的 tag 分組,結果每個執行個體各發一則告警,而不是每個服務一則。整個監控環境沒有負責人,所以從來沒有任何項目被移除。
環境
以 Datadog 監控跨多區域的 AWS 與 Kubernetes 環境,告警會轉送至值班輪班。
做法
我們依據告警歷史紀錄而非主觀意見來工作:哪些監控觸發過、頻率多高,以及是否有人因此採取任何行動。從未引發行動的監控會被汰除或降級為儀表板。真正重要的監控則會調整為反映目前行為的門檻、適當的分組方式,以及能抑制可預期雜訊的停機規則。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,並由專屬資深工程師加入客戶的告警檢視週期
- 依監控項目分析告警歷史,區分真正驅動行動的告警,與總是被確認後直接關閉的告警
- 當底層訊號具有真實的季節性時,將靜態門檻改為異常偵測或預測式條件
- 修正 multi-alert 分組,讓告警以服務為單位,而非以短暫存在的執行個體為單位
- 重新設計 composite monitor 邏輯,讓一個根本故障只產生一則呼叫,而不是一場風暴
- 以程式碼定義監控並指定負責人,讓沒有負責人的監控一目了然、可以移除
成效
呼叫量減少約三分之二,而涵蓋真正客戶影響的監控全數保留。由於工程師不再把呼叫當成背景雜音,確認告警的時間也隨之縮短。