概要
ある保険サービス事業者のELKクラスターは、明確な理由もないまま、18か月で2度もストレージの容量を超えていました。AceMQは、実際に何がインデックスされ、そのうちどれだけが使われているのかをアセスメントしました。
課題
デフォルトの動的マッピングにより、JSON形式のログ行に含まれるすべてのフィールドが、誰も一度も検索したことのない大きな入れ子構造まで含めて、インデックスされ、保存されていました。いくつかのサービスは、リクエストとレスポンスの本文全体をinfoレベルでログに出力していました。保持期間は価値に関係なくすべてのインデックスで一律だったため、デバッグレベルのアプリケーションログも監査記録と同じ期間保持されていました。ストレージの増加曲線は事業の成長とは無関係でしたが、それを説明できるフィールド単位のデータを持っている人はいませんでした。
環境
事業全体からアプリケーション、インフラ、監査のログを取り込むオンプレミスのELKクラスター。
アプローチ
アセスメントでは、ストレージの消費量をインデックス単位だけでなくフィールド単位で計測し、それを検索やダッシュボードでの使用状況と突き合わせます。この組み合わせにより、最もコストがかかり最も役に立っていないフィールドが正確にわかり、保持期間の議論をポリシーの是非ではなく、根拠に基づく判断に変えられます。
ソリューション
- インデックスの合計値だけでなくディスク使用量の分析を用いて、インデックスパターンごとにストレージ消費をフィールド単位で把握
- フィールドの使用状況を、保存済みの検索、ダッシュボード、クエリ履歴と突き合わせ、インデックスされているのに一度も検索されていないフィールドを特定
- パターンごとに動的マッピングの挙動をレビューし、明示的なマッピングに置き換えるべき箇所を特定
- 大きなペイロードのロギングを発生元で特定し、リクエストとレスポンスの本文をサンプリングまたは切り詰めるよう推奨
- デバッグログと監査記録が同じ保持ポリシーを共有しないよう、データの種類ごとに保持期間の階層を提案
- 推奨する変更の前後で、ストレージの増加曲線を示す予測モデル
結果
アセスメントの結果、インデックスされたフィールドの大部分が一度もクエリに登場していないことがわかりました。明示的なマッピングと階層化した保持期間により、ストレージの増加予測は、次に予定していた拡張を取りやめられるほど緩やかになりました。