概覽
一家物流服務商一再超出 Splunk 的擷取量上限,並面臨一筆昂貴的續約。AceMQ 分析了資料量的來源,並設計出一套保留所有必要偵測與稽核能力的過濾與分層策略。
挑戰
每日擷取量有很大一部分來自少數幾個雜訊很多的來源:包含靜態資源請求的冗長 web 存取日誌、在一次舊事故期間開啟後就再也沒關閉的 debug 輸出,以及兩個 agent 轉送相同檔案所造成的重複收集。這些資料沒有被任何偵測規則或法遵要求引用,但不經過分析就無法證明這一點,也沒有任何團隊願意當那個刪掉關鍵日誌的人。
環境
混合式 Splunk 部署,從雲端與地端來源擷取資料,須遵循資安偵測與稽核保留要求。
做法
我們從需求面出發:將每一條偵測規則、儀表板與法遵義務,對應到它所依賴的資料。任何不在這份對應表中的資料,都是過濾的候選對象。資料量大、偶爾才有價值的資料,則會被導向低成本的物件儲存,仍可在需要時取回,而不是直接丟棄。過濾在轉送層進行,讓資料量在計入擷取量之前就先減少。
解決方案
- 依來源、sourcetype 與主機歸屬擷取量,精確排列各來源的貢獻度
- 將每一條偵測規則、排程搜尋與法遵要求,對應到其所依賴的資料
- 在轉送層針對可證明沒有任何引用的事件類別,套用 null-queue 路由
- 從源頭減少冗長來源:關閉 debug 日誌、排除靜態資源請求、移除重複收集
- 將資料量大、偶爾有用的資料導向物件儲存,並保留供調查使用的取回路徑
- 加入資料量監控與各來源預算,避免日後的日誌變更悄悄耗盡餘裕
成效
每日擷取量減少約三分之一,且沒有任何偵測規則或法遵義務失去其來源資料,這也實質改變了續約談判的內容。各來源預算後來更在一次 debug 日誌變更影響授權之前,就先將其攔下。