概要
ある通信事業者には、数百のインデックスとそれをはるかに上回る数のソースタイプが蓄積しており、その多くはほぼ重複していました。検索は遅く、保持期間は一貫せず、アクセス制御は把握しようがない状態でした。AceMQはアーキテクチャを評価し、統合のための設計を作成しました。
課題
新しいデータソースには既定でそれぞれ専用のインデックスが割り当てられていたため、保持期間、アクセス制御、ストレージの階層化を何百回も設定しなければならず、実際には設定されていないことも多くありました。ソースタイプは自動で割り当てられていたため、同じログ形式でフィールド抽出だけが異なる亜種が多数生まれ、論理的に同じデータ種別を検索するには、すべての亜種を手作業で列挙する必要がありました。アナリストは亜種の存在を知らないために、データを見落とすことがよくありました。
環境
ネットワーク、セキュリティ、アプリケーションのデータにまたがる数百のインデックスを持つ、オンプレミスのSplunkインデクサークラスター。
アプローチ
このアセスメントでは、インデックスとソースタイプを、送信元のシステムではなく実際のアクセス制御と保持の要件でグループ化します。そもそもインデックスの境界を決めるべきなのは、こうした要件だからです。検索パターンを計測して、そのグループ分けが実際のクエリの使われ方に合っていることを確認したうえで、既存の保存済み検索を壊さない移行パスを伴う統合レイアウトを設計します。
ソリューション
- データ量、保持設定、アクセス制御の構成をエントリーごとに記録した、インデックスとソースタイプの全件インベントリ
- ソースタイプの亜種を実際のログ形式でクラスタリングし、1つに統合すべき重複を特定
- 検索パターンを分析し、提案するインデックスの境界がアナリストの実際のクエリの使われ方に合っていることを確認
- 送信元システムの区別ではなく、保持とアクセス制御の要件に基づく統合されたインデックス設計
- 統合したソースタイプごとにフィールド抽出を標準化し、以前は複数の検索が必要だった範囲を1つの検索でカバー
- マクロとエイリアスで既存の保存済み検索を維持し、切り替え時にどのダッシュボードも壊れない移行計画
結果
インデックスの数は管理可能な規模にまで減り、保持期間とアクセス制御は送信元ごとではなく階層ごとに一度だけ定義されるようになりました。以前はソースタイプの亜種を列挙する必要があった検索も、今では統合された1つのタイプに対して実行され、アナリストが存在を知らなかったデータを見落とすこともなくなりました。