返回所有使用案例

技術支援軟體/數位平台

讓值班輪班重新只面對有意義的告警

B2B SaaS 平台供應商

針對告警數量多到值班輪班人員無法有效處理的 Datadog 監控環境,提供持續的技術支援。

概覽

一家 SaaS 供應商的值班工程師已經習慣反射性地確認告警,因為大多數告警都不需要任何處理。AceMQ 提供持續的技術支援,讓監控環境保持有意義,並在客戶自己的 Datadog 組織中與其團隊並肩合作。

挑戰

多年來監控項目不斷累積,卻沒有任何汰除流程。許多監控使用的靜態門檻,是依照早已不存在的流量水準設定的,因此每逢正常尖峰就會觸發。Composite monitor 造成告警風暴,一個底層故障就產生數十則呼叫。Multi-alert monitor 依照一個後來變成高基數的 tag 分組,結果每個執行個體各發一則告警,而不是每個服務一則。整個監控環境沒有負責人,所以從來沒有任何項目被移除。

環境

以 Datadog 監控跨多區域的 AWS 與 Kubernetes 環境,告警會轉送至值班輪班。

做法

我們依據告警歷史紀錄而非主觀意見來工作:哪些監控觸發過、頻率多高,以及是否有人因此採取任何行動。從未引發行動的監控會被汰除或降級為儀表板。真正重要的監控則會調整為反映目前行為的門檻、適當的分組方式,以及能抑制可預期雜訊的停機規則。

解決方案

  1. 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,並由專屬資深工程師加入客戶的告警檢視週期
  2. 依監控項目分析告警歷史,區分真正驅動行動的告警,與總是被確認後直接關閉的告警
  3. 當底層訊號具有真實的季節性時,將靜態門檻改為異常偵測或預測式條件
  4. 修正 multi-alert 分組,讓告警以服務為單位,而非以短暫存在的執行個體為單位
  5. 重新設計 composite monitor 邏輯,讓一個根本故障只產生一則呼叫,而不是一場風暴
  6. 以程式碼定義監控並指定負責人,讓沒有負責人的監控一目了然、可以移除

成效

呼叫量減少約三分之二,而涵蓋真正客戶影響的監控全數保留。由於工程師不再把呼叫當成背景雜音,確認告警的時間也隨之縮短。

技術

DatadogKubernetesTerraformPagerDuty

需要專業的 Datadog 技術支援嗎?

AceMQ 的資深 Datadog 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。