概要
ある金融サービスグループでは、Splunkのサーチヘッドが飽和状態にありました。スケジュールサーチは日常的にスキップされ、調査を行うアナリストのサーチはレポート用のジョブの後ろで待たされていました。AceMQは、サーチのワークロードをチューニングする継続的なサポートを提供しています。
課題
長年にわたって数百のスケジュールサーチが作成されており、その大半は必要性に関係なく、24時間の期間を対象に5分ごとに実行するよう設定されていました。同時実行数の上限に常に達していたため、スケジューラーはサーチをスキップしていました。その中にはコンプライアンスレポートのデータ元となるサーチもいくつか含まれていましたが、スキップされたサーチはデフォルトではアラートを出さないため、誰にも気づかれていませんでした。最も重いサーチの多くは、データモデルの高速化やサマリーインデックスを使うべき場面で、生のイベントをスキャンしていました。
環境
セキュリティ運用、コンプライアンスレポート、ビジネス分析の各チームが利用する、オンプレミスのSplunkサーチヘッドクラスター。
アプローチ
サーチのワークロードは再び増えていくため、このサポートは一度きりの修正ではなく、継続的なチューニングです。当社は所有者ごとのスキップ率とサーチのコストを追跡し、重いサーチを書き換え、すべてが同じタイミングで実行されないようスケジュールを分散させ、インシデントを調査するアナリストがレポートの後ろで待たされることがないよう同時実行数を確保しています。
ソリューション
- プランに応じた15分からの対応目標付きの24/7サポート。サーチの全体像とその所有者を把握している専任のシニアエンジニアが担当
- コンプライアンスレポートの欠落が気づかれないまま放置されず、すぐに表面化するよう、スキップされたサーチのアラートを構成
- 所有者とアプリごとにサーチのコストをプロファイリングし、苦情の多さではなくリソースの消費量でサーチを順位付け
- クエリの形が許す場合には、生のスキャンを行う重いサーチを、高速化したデータモデルやサマリーインデックスを使うよう書き換え
- サーチが同じ間隔の境界に集中しないよう、スケジュールウィンドウとcronの分散を適用
- スケジュールされたレポートとは別に、アドホックな調査のための同時実行数を確保するワークロード管理ルール
結果
スキップされるサーチは無視できるほどの割合まで減り、コンプライアンスレポートの欠落も解消されました。調査を行うアナリストのサーチは、レポート用のジョブを待つことなく、すぐにスケジュールされるようになりました。