概覽
一家電信業者累積了數百個 index,以及數量更多的 sourcetype,其中許多幾乎重複。搜尋緩慢、保留期限不一致,存取控制也複雜到無從推敲。AceMQ 評估了這套架構,並提出整併設計。
挑戰
每個新的資料來源預設都會配給自己的 index,因此保留期限、存取控制與儲存分層必須設定數百次,而且常常沒有設定。Sourcetype 是自動指派的,產生了同一種日誌格式的許多變體,各自有不同的欄位擷取方式,所以要搜尋同一種邏輯資料類型,就必須手動列出每一個變體。分析人員經常因為不知道某個變體存在而漏掉資料。
環境
地端 Splunk indexer 叢集,擁有數百個 index,涵蓋網路、資安與應用程式資料。
做法
這項評估依據 index 與 sourcetype 實際的存取控制與保留需求來分組,而不是依據來源系統,因為前者本來就應該是劃分 index 邊界的依據。我們會量測搜尋模式,確認分組方式符合使用者實際的查詢方式,再設計整併後的配置,並規劃不會破壞既有 saved search 的遷移路徑。
解決方案
- 完整的 index 與 sourcetype 清冊,逐項列出資料量、保留設定與存取控制設定
- 依實際日誌格式將 sourcetype 變體分群,找出應合併為一的重複項目
- 分析搜尋模式,確認提議的 index 邊界符合分析人員實際查詢資料的方式
- 以保留與存取控制需求驅動整併後的 index 設計,而不是以來源系統身分為準
- 為每個整併後的 sourcetype 統一欄位擷取,讓一次搜尋就能涵蓋過去需要多次搜尋的內容
- 透過 macro 與 alias 保留既有 saved search 的遷移計畫,讓切換時沒有任何儀表板失效
成效
Index 數量降到可管理的規模,保留與存取控制改為每個層級定義一次,而不是每個來源各定義一次。過去需要逐一列舉 sourcetype 變體的搜尋,現在只需針對單一整併後的類型執行,分析人員也不再漏掉自己不知道存在的資料。