概要
ある公共機関では、繁忙期になるとセキュリティイベントがSplunkのインデックスに届くまでに数時間かかっていました。検知ルールが発火する頃には手遅れで、役に立たなくなっていたのです。AceMQは、フォワーダー、中間層、インデクサーにわたるインジェスト経路を改善しました。
課題
Universal Forwarderは出力キューが満杯になってブロックしており、その結果、ファイル監視の入力が読み取りを止め、ディスク上に滞留が積み上がっていました。本当のボトルネックは、中間のHeavy Forwarder層でした。すべてのイベントに対して正規表現を多用した変換をインラインで実行しており、インデクサーよりもはるかに早い段階でCPUの限界に達していたのです。フォワーダーのキューのメトリクスは監視されていなかったため、目に見える症状はデータの遅延だけで、誰もがインデクサーのせいだと考えていました。
環境
数千台のホストに配置したUniversal Forwarder、中間のHeavy Forwarder層、インデクサークラスターで構成されるオンプレミスのSplunk。
アプローチ
思い込みでインデクサーのキャパシティを追加するのではなく、パイプラインを段階ごとに計測して、イベントが実際にどこでキューに溜まっているのかを突き止めました。Heavy Forwarder層が制約であると特定した後は、高コストのパース処理を本来あるべき場所に移すとともに処理量を減らし、さらにフォワーディングのトポロジーを再調整して、遅い経路が1つあるだけで数千のソースが詰まることのないようにしました。
ソリューション
- パイプラインのすべての段階でキューの充填率のメトリクスを収集し、推測ではなく実測で本当のボトルネックを特定
- 高コストのインライン変換を監査し、不要な正規表現処理を削除したうえで、残りは必要な場合に限りインデックス時の処理に移行
- Heavy Forwarder層をリサイズし、並列インジェストパイプラインを有効にして利用可能なコアを適切に活用
- autoLBのチューニングでフォワーダーの出力グループを再調整し、遅いインデクサーが1台あるだけで上流のソースが止まる状態を解消
- 後段が停止しても読み取りがブロックされずにバッファリングされるよう、入力に永続キューを設定
- インジェストの遅延をアナリストからの報告ではなく発生段階で検知できるよう、キューの飽和に対するアラートを追加
結果
ピーク時のインジェスト遅延は数時間からほぼリアルタイムにまで短縮され、検知ルールは最新のデータに対して発火するようになりました。キューのアラートは導入以降、アナリストの目に触れる前に、進行中の滞留を2回検知しています。