概要
あるエネルギー公益事業者は、7年分のメーターと送配電網のテレメトリーをDruidに保持しており、すべてのセグメントを、経過年数にかかわらず同一構成のHistoricalノード上に同じレプリケーション係数で配置していました。インフラコストは保持期間に比例して増える一方、古いデータへのクエリはごくわずかでした。AceMQは階層化の選択肢を評価しました。
課題
階層化は実際のアクセス分布を把握していて初めて機能しますが、その分布に関する思い込みはたいてい外れています。古いデータに対する規制対応のクエリはまれでも、定められた時間内に必ず成功しなければなりません。今回の評価では、データの経過期間ごとの実際のアクセスパターンを明らかにしたうえで、求められるクエリの挙動を維持しつつコストを下げられる階層化構成を見極める必要がありました。
環境
オンプレミスのハードウェアとクラウドのオブジェクトストレージにまたがり、複数年分の送配電網とメーターのテレメトリーを保持するApache Druid。
アプローチ
AceMQは、想定として語られていた内容に頼らず、クエリログを分析してセグメントの経過期間ごとのアクセス分布を作成しました。そのうえで、規制対応アクセス時のコールド層の応答時間も含め、各階層化構成をコストと、それぞれが生むクエリの挙動の両面からモデル化しました。
ソリューション
- 想定ではなく実際のクエリログから、セグメントの経過期間ごとのアクセス分布を作成
- 計測したアクセスパターンに対応するロードルールを用いて、ホット・ウォーム・コールドのHistorical階層をモデル化
- コールド層でレプリケーション係数を下げる案を、可用性と復旧の要件に照らして評価
- 最もコールドなデータ向けの選択肢としてディープストレージからの直接クエリを評価し、その応答特性を計測
- 保持ルールとドロップルールを、規制上のデータ保持義務に照らして見直し
- 階層化の選択肢ごとに、トレードオフを明示したコストとパフォーマンスのモデルを提供
結果
同社は、思い込みではなく計測したアクセス実態に基づく階層化計画を手にし、規制対応のクエリを求められる応答時間内に保ちながらHistoricalノードの規模を縮小する明確な道筋を得ました。トレードオフは実装後に判明するのではなく、事前に明示されました。