概覽
一家 SaaS 供應商的遙測擷取量成長速度遠超過業務成長,而且沒有人明確對這份成長負責。AceMQ 協助他們歸屬資料量來源、刪除沒有任何人使用的部分,並在收集層設置控管,讓削減的成果得以維持。
挑戰
擷取量主要來自少數幾個來源:以 debug 等級轉送的冗長框架日誌、每個請求都會發出但只用於彙總的自訂事件,以及收集間隔遠比任何儀表板顯示的還要細的基礎架構指標。沒有人能看出哪個團隊的遙測佔了帳單的多少比例,因此成本討論毫無進展,成長也每季持續。
環境
在多帳號 AWS 環境中使用 New Relic,包含 Kubernetes 工作負載與多個自主運作的產品團隊。
做法
AceMQ 不負責維運廠商平台,而是協助客戶決定並控管哪些資料離開其基礎架構。這次合作依團隊與來源歸屬擷取量、檢查哪些資料確實被查詢,並在收集層實作捨棄規則與取樣,使其不論個別應用程式發出什麼都能生效。
解決方案
- 依團隊、服務與遙測類型歸屬擷取量,讓成本有明確的負責人,而不只是一個總數
- 交叉比對查詢與儀表板使用情況,找出被擷取卻從未被使用的遙測資料
- 針對可證明未被使用的日誌與事件類別,在收集層套用捨棄規則
- 從源頭修正日誌轉送等級,移除過去事故後遺留未關閉的 debug 輸出
- 將基礎架構指標的收集間隔,調整為儀表板與告警實際使用的解析度
- 為各團隊設定擷取預算並加以監控,讓日誌變更以告警的形式出現,而不是出現在發票上
成效
擷取量減少約四成,且沒有任何儀表板或告警失去資料來源。由於擷取量現在已依團隊歸屬並編列預算,成長變成一項看得見的決策,而不是每季的意外。