概要
ある医療データ分析サービス企業は、監査上の理由から複数年にわたるデータの保持が必要でしたが、すべてを高価なホットノードに置いたままにしていました。AceMQは、保持要件を満たしつつ、データの大部分を安価なストレージに移すILMとティアリングの戦略を設計しました。
課題
保持ルールは手書きのクリーンアップスクリプトで運用されており、ときおり誤ったインデックスパターンを削除していました。ウォームティアやコールドティアはなく、スナップショットの取得も一貫しておらず、リストアをテストした人もいませんでした。コンプライアンスチームは、あるレコード区分が実際にどのくらいの期間保持されているのかに答えられませんでした。その答えは、最後に正常終了したのがどのスクリプトかによって変わってしまうからです。
環境
オンプレミスのホットノードと、スナップショットおよび検索可能なデータに利用できるクラウドのオブジェクトストレージを組み合わせた、ハイブリッドのElasticsearch環境。
アプローチ
いくつかのパターンが必要以上に長く保持されていたため、まず各インデックスパターンを、実際の規制上の保持義務と対応付けるところから始めました。そのうえで、ホット、ウォーム、コールドの各フェーズを明示したロールオーバー駆動のILMポリシーを設計し、オブジェクトストレージに対するスナップショットのライフサイクルポリシーを追加し、所要時間が想定ではなく実測でわかるまでリストア手順のリハーサルを繰り返しました。
ソリューション
- インデックスパターンごとに保持要件を整理し、クリーンアップスクリプトが実際に行っていた処理と突き合わせ
- サイズと経過時間を条件とするロールオーバーエイリアスに基づくILMポリシーを構築し、手作りの削除スクリプトを完全に置き換え
- force-merge、レプリカ数の削減、ノード属性によるシャード割り当てのフィルタリングを含む、ホット、ウォーム、コールドの各フェーズを定義
- コンプライアンス上の義務に合わせた保持ルールを備えた、オブジェクトストレージへのスナップショットライフサイクル管理
- リストア訓練を実施して所要時間を計測し、復旧目標を推定値ではなく実測値に
- 変更がレビューを経るよう、ポリシー定義をInfrastructure as Codeとしてコミット
結果
インデックス化されたデータの大部分はウォームティアとコールドティアに移り、ホットノードの容量を大幅にクエリのワークロードに振り向けられるようになりました。保持はスクリプトではなくポリシーによって適用され、コンプライアンスチームは保持期間に関する質問に、ポリシー定義から直接答えられるようになりました。