返回所有使用案例

顧問服務跨產業

削減擷取量,但不削減任何人真正需要的資料

全球物流服務商

透過過濾、路由與分層,在不失去資安或法遵涵蓋的前提下,降低 Splunk 每日擷取量的顧問服務。

概覽

一家物流服務商一再超出 Splunk 的擷取量上限,並面臨一筆昂貴的續約。AceMQ 分析了資料量的來源,並設計出一套保留所有必要偵測與稽核能力的過濾與分層策略。

挑戰

每日擷取量有很大一部分來自少數幾個雜訊很多的來源:包含靜態資源請求的冗長 web 存取日誌、在一次舊事故期間開啟後就再也沒關閉的 debug 輸出,以及兩個 agent 轉送相同檔案所造成的重複收集。這些資料沒有被任何偵測規則或法遵要求引用,但不經過分析就無法證明這一點,也沒有任何團隊願意當那個刪掉關鍵日誌的人。

環境

混合式 Splunk 部署,從雲端與地端來源擷取資料,須遵循資安偵測與稽核保留要求。

做法

我們從需求面出發:將每一條偵測規則、儀表板與法遵義務,對應到它所依賴的資料。任何不在這份對應表中的資料,都是過濾的候選對象。資料量大、偶爾才有價值的資料,則會被導向低成本的物件儲存,仍可在需要時取回,而不是直接丟棄。過濾在轉送層進行,讓資料量在計入擷取量之前就先減少。

解決方案

  1. 依來源、sourcetype 與主機歸屬擷取量,精確排列各來源的貢獻度
  2. 將每一條偵測規則、排程搜尋與法遵要求,對應到其所依賴的資料
  3. 在轉送層針對可證明沒有任何引用的事件類別,套用 null-queue 路由
  4. 從源頭減少冗長來源:關閉 debug 日誌、排除靜態資源請求、移除重複收集
  5. 將資料量大、偶爾有用的資料導向物件儲存,並保留供調查使用的取回路徑
  6. 加入資料量監控與各來源預算,避免日後的日誌變更悄悄耗盡餘裕

成效

每日擷取量減少約三分之一,且沒有任何偵測規則或法遵義務失去其來源資料,這也實質改變了續約談判的內容。各來源預算後來更在一次 debug 日誌變更影響授權之前,就先將其攔下。

技術

SplunkAmazon S3LinuxKafka

需要 Splunk 架構指引嗎?

AceMQ 的資深 Splunk 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。