返回所有使用案例

評估電信

在任何人寫下查詢之前,index 設計就已經決定了搜尋速度與保留成本

電信業者

評估一套自然演變而成的 index 與 sourcetype 設計,這套設計導致搜尋效能低落,保留規則也難以管理。

概覽

一家電信業者累積了數百個 index,以及數量更多的 sourcetype,其中許多幾乎重複。搜尋緩慢、保留期限不一致,存取控制也複雜到無從推敲。AceMQ 評估了這套架構,並提出整併設計。

挑戰

每個新的資料來源預設都會配給自己的 index,因此保留期限、存取控制與儲存分層必須設定數百次,而且常常沒有設定。Sourcetype 是自動指派的,產生了同一種日誌格式的許多變體,各自有不同的欄位擷取方式,所以要搜尋同一種邏輯資料類型,就必須手動列出每一個變體。分析人員經常因為不知道某個變體存在而漏掉資料。

環境

地端 Splunk indexer 叢集,擁有數百個 index,涵蓋網路、資安與應用程式資料。

做法

這項評估依據 index 與 sourcetype 實際的存取控制與保留需求來分組,而不是依據來源系統,因為前者本來就應該是劃分 index 邊界的依據。我們會量測搜尋模式,確認分組方式符合使用者實際的查詢方式,再設計整併後的配置,並規劃不會破壞既有 saved search 的遷移路徑。

解決方案

  1. 完整的 index 與 sourcetype 清冊,逐項列出資料量、保留設定與存取控制設定
  2. 依實際日誌格式將 sourcetype 變體分群,找出應合併為一的重複項目
  3. 分析搜尋模式,確認提議的 index 邊界符合分析人員實際查詢資料的方式
  4. 以保留與存取控制需求驅動整併後的 index 設計,而不是以來源系統身分為準
  5. 為每個整併後的 sourcetype 統一欄位擷取,讓一次搜尋就能涵蓋過去需要多次搜尋的內容
  6. 透過 macro 與 alias 保留既有 saved search 的遷移計畫,讓切換時沒有任何儀表板失效

成效

Index 數量降到可管理的規模,保留與存取控制改為每個層級定義一次,而不是每個來源各定義一次。過去需要逐一列舉 sourcetype 變體的搜尋,現在只需針對單一整併後的類型執行,分析人員也不再漏掉自己不知道存在的資料。

技術

SplunkLinuxSyslog

準備好進行 Splunk 健康檢查了嗎?

AceMQ 的資深 Splunk 工程師以前就處理過這類專案。無論您需要架構指引、實作面的問題修復,或是長期的託管合作關係,我們都已準備好協助您。