概要
ある物流企業は、Splunkの取り込み量の上限を繰り返し超過し、高額な契約更新を迫られていました。AceMQは取り込み量の発生源を分析し、必要な検知と監査の機能をすべて維持したまま、フィルタリングと階層化の戦略を設計しました。
課題
1日の取り込み量の大部分は、ごく少数のノイズの多いソースから来ていました。静的アセットへのリクエストまで含む冗長なWebアクセスログ、過去のインシデント対応時に有効化されたまま戻されていなかったデバッグ出力、そして2つのエージェントが同じファイルを転送していた重複収集です。これらのデータは、どの検知ルールからもコンプライアンス要件からも参照されていませんでしたが、分析なしにはそれを証明できず、後になって重要だったと判明するログを削除した当事者になりたいチームはありませんでした。
環境
クラウドとオンプレミスのソースからデータを取り込むハイブリッド構成のSplunk。セキュリティ検知と監査ログの保持に関する要件の対象。
アプローチ
まず要件の側から着手します。すべての検知ルール、ダッシュボード、コンプライアンス上の義務を、それぞれが依存するデータに対応付けます。この対応表から参照されていないものは、すべてフィルタリングの候補です。量が多く、ときどきしか役に立たないデータは、破棄するのではなく、取り出し可能な状態のまま安価なオブジェクトストレージへルーティングします。フィルタリングはフォワーダー層で行い、カウントされる前に量を減らします。
ソリューション
- 取り込み量をソース、ソースタイプ、ホストごとに分解し、寄与度の大きい発生源を正確に順位付け
- すべての検知ルール、スケジュール検索、コンプライアンス要件を、それぞれが依存するデータに対応付け
- どこからも参照されていないことが証明されたイベント種別に対し、フォワーダー層でnullキューへのルーティングを適用
- 冗長なソースを発生元で削減:デバッグログを無効化し、静的アセットへのリクエストを除外し、重複収集を排除
- 量が多く、ときどき役立つデータは、調査時の取り出し経路を確保したうえでオブジェクトストレージへルーティング
- 取り込み量の監視とソースごとの予算枠を追加し、将来のログ設定の変更が気づかないうちに余裕を食いつぶさないように
結果
どの検知ルールやコンプライアンス上の義務もソースデータを失うことなく、1日の取り込み量はおよそ3分の1削減され、契約更新の交渉は大きく変わりました。その後も、ソースごとの予算枠が、ライセンスに影響が出る前にデバッグログの設定変更を検知しています。