概覽
一個公部門機關發現,在業務繁忙期間,資安事件要在事發數小時後才會進入 Splunk 索引。偵測規則觸發得太晚,等於毫無用處。AceMQ 修復了橫跨 forwarder、中間層與 indexer 的整條資料接收路徑。
挑戰
universal forwarder 因輸出佇列已滿而阻塞,導致檔案監控輸入停止讀取,積壓資料在磁碟上不斷累積。真正的瓶頸其實在中間的 heavy forwarder 層:它對每一筆事件都同步執行大量使用正規表示式的轉換,早在 indexer 之前就已達到 CPU 上限。由於沒有監控 forwarder 的佇列指標,唯一看得到的症狀只有資料延遲,所有人都把它歸咎於 indexer。
環境
地端 Splunk,在數千台主機上部署 universal forwarder,搭配中間的 heavy forwarder 層與 indexer 叢集。
做法
我們逐一監測管線的每個階段,找出事件實際排隊的位置,而不是憑假設增加 indexer 容量。在確認 heavy forwarder 層是瓶頸之後,我們把高成本的解析工作移到應該執行的地方並減少其數量,接著重新平衡轉送拓撲,讓單一緩慢路徑不會再拖垮數千個來源。
解決方案
- 在每個管線階段收集佇列填滿程度指標,找出真正的瓶頸,而不是用推測的
- 稽核高成本的同步轉換,移除不必要的正規表示式處理,其餘則僅在必要時改於索引時執行
- 調整 heavy forwarder 層規格,並啟用平行資料接收管線,以充分利用可用的 CPU 核心
- 調校 autoLB 並重新平衡 forwarder 輸出群組,讓單一緩慢的 indexer 不再拖住上游來源
- 在輸入端設定持久性佇列,讓下游停滯時改為緩衝,而不是阻塞讀取端
- 加入佇列飽和告警,讓資料接收延遲在形成過程中就被偵測到,而不是等分析師回報
成效
尖峰期間的資料接收延遲從數小時縮短到接近即時,偵測規則現在能針對最新資料觸發。佇列告警此後已兩度在積壓擴大到分析師察覺之前就攔截下來。