概要
日次インデックスを数年にわたって運用してきたある機関では、小さなシャードが数万個も蓄積していました。ハードウェアを増強しても効果がなくなり、マスター選出にかかる時間がインデックス処理を中断させるほど長くなっていました。AceMQはクラスターをアセスメントし、問題がキャパシティにあるのか設計にあるのかを見極めました。
課題
日次インデックスは、数MBしかないものも数百GBあるものも、すべてデフォルトのシャード数で作成されていました。その結果クラスターステートが肥大化し、全ノードへの更新の発行に数秒かかり、その後ろにペンディングタスクが滞留し、マスターのフェイルオーバーが起きるたびに数分間の停止につながっていました。既存のインデックス命名にどの下流の検索が依存しているのか不明だったため、誰もインデックステンプレートを安全に変更できませんでした。
環境
オンプレミスのElasticsearchクラスター。複数年の保持期間を持つ日次の時系列インデックス。ログ検索とドキュメント検索が混在するワークロード。
アプローチ
アセスメントでは、インデックスパターンごとにシャード数とサイズの分布を棚卸しし、クラスターステートのサイズと発行レイテンシーを計測し、実際にクエリを受けているインデックスを洗い出します。形を作り直す必要があるインデックスと、ロールアップや削除で済むインデックスを切り分け、お客様が通常のメンテナンスの中で実行できる段階的な計画を提供します。
ソリューション
- インデックスパターンごとのシャードの全量棚卸しとサイズ分布により、適正サイズを大きく下回る、または上回るシャードを生むパターンを可視化
- クラスターステートのサイズと発行レイテンシーを計測し、マスターのオーバーヘッドを直接数値化
- インデックスごとのクエリトラフィックを把握し、保持期間をポリシー上の想定ではなく根拠に基づいて判断できるように
- サイズ条件と経過期間条件を組み合わせたILMを用いて、目標とするシャードサイズとロールオーバー戦略を提案
- 検索を常に利用可能に保てる順序で、shrink、reindex、ロールアップの各手順をまとめた段階的な改善計画
- 統合後にクラスターが実際に必要とするキャパシティを示すモデルにより、不要なハードウェア購入を回避
結果
日次インデックスを統合し、古いデータをロールアップしたことでシャード数は劇的に減少し、クラスターステートの発行時間は以前のごく一部にまで短縮されました。マスターのフェイルオーバーは問題にならなくなり、予定していたハードウェアの増強は見送られました。