概覽
一家金融服務集團的 Splunk search head 已經飽和:排程搜尋經常被略過,進行調查的分析人員發現自己的搜尋排在報表作業後面。AceMQ 提供持續性的技術支援,負責調校搜尋工作負載。
挑戰
多年來累積建立了數百個排程搜尋,其中大多數不論需求為何,都設定為每五分鐘執行一次、搜尋範圍涵蓋過去 24 小時。並行上限不斷被觸及,於是排程器開始略過搜尋——其中包括好幾個供應法規遵循報表的搜尋,而且一直沒人發現,因為在預設情況下,被略過的搜尋不會產生任何告警。許多最吃重的搜尋採用原始事件掃描,其實改用資料模型加速或摘要索引會更合適。
環境
地端 Splunk search head 叢集,服務資安維運、法規遵循報表與業務分析團隊。
做法
這裡的技術支援是持續調校,而不是一次性的修正,因為搜尋工作負載會再次成長。我們追蹤各擁有者的略過比率與搜尋成本、改寫昂貴的搜尋、分散排程以免所有搜尋都在同一個時間點觸發,並保留並行額度,讓正在調查事故的分析人員絕不會排在報表後面。
解決方案
- 24/7 技術支援,提供依方案而定、最快 15 分鐘起的回應目標,由熟悉搜尋資產及其擁有者的專屬資深工程師負責
- 設定被略過搜尋的告警,讓法規遵循報表的缺口立即浮現,而不是無聲無息
- 依擁有者與應用程式剖析搜尋成本,依資源耗用量(而非抱怨次數)為搜尋排序
- 在查詢型態允許之處,將吃重的原始掃描搜尋改寫為使用加速資料模型或摘要索引
- 套用排程時間窗與 cron 錯開設定,讓搜尋不再集中在同一個時間間隔點觸發
- 設定工作負載管理規則,為臨時調查保留與排程報表分開的並行額度
成效
被略過的搜尋降到可忽略的比例,法規遵循報表的缺口也已補上。進行調查的分析人員,如今搜尋能立即獲得排程,不必再排在報表作業後面等待。