導入事例の一覧に戻る

コンサルティング医療・福利厚生

コールドデータにホットティアの料金を払うことなく、監査人を納得させる保持期間を

医療データ分析サービス企業

規制対象のElasticsearch環境に向けて、インデックスライフサイクル管理、データのティアリング、スナップショットのポリシーを設計したコンサルティング案件です。

概要

ある医療データ分析サービス企業は、監査上の理由から複数年にわたるデータの保持が必要でしたが、すべてを高価なホットノードに置いたままにしていました。AceMQは、保持要件を満たしつつ、データの大部分を安価なストレージに移すILMとティアリングの戦略を設計しました。

課題

保持ルールは手書きのクリーンアップスクリプトで運用されており、ときおり誤ったインデックスパターンを削除していました。ウォームティアやコールドティアはなく、スナップショットの取得も一貫しておらず、リストアをテストした人もいませんでした。コンプライアンスチームは、あるレコード区分が実際にどのくらいの期間保持されているのかに答えられませんでした。その答えは、最後に正常終了したのがどのスクリプトかによって変わってしまうからです。

環境

オンプレミスのホットノードと、スナップショットおよび検索可能なデータに利用できるクラウドのオブジェクトストレージを組み合わせた、ハイブリッドのElasticsearch環境。

アプローチ

いくつかのパターンが必要以上に長く保持されていたため、まず各インデックスパターンを、実際の規制上の保持義務と対応付けるところから始めました。そのうえで、ホット、ウォーム、コールドの各フェーズを明示したロールオーバー駆動のILMポリシーを設計し、オブジェクトストレージに対するスナップショットのライフサイクルポリシーを追加し、所要時間が想定ではなく実測でわかるまでリストア手順のリハーサルを繰り返しました。

ソリューション

  1. インデックスパターンごとに保持要件を整理し、クリーンアップスクリプトが実際に行っていた処理と突き合わせ
  2. サイズと経過時間を条件とするロールオーバーエイリアスに基づくILMポリシーを構築し、手作りの削除スクリプトを完全に置き換え
  3. force-merge、レプリカ数の削減、ノード属性によるシャード割り当てのフィルタリングを含む、ホット、ウォーム、コールドの各フェーズを定義
  4. コンプライアンス上の義務に合わせた保持ルールを備えた、オブジェクトストレージへのスナップショットライフサイクル管理
  5. リストア訓練を実施して所要時間を計測し、復旧目標を推定値ではなく実測値に
  6. 変更がレビューを経るよう、ポリシー定義をInfrastructure as Codeとしてコミット

結果

インデックス化されたデータの大部分はウォームティアとコールドティアに移り、ホットノードの容量を大幅にクエリのワークロードに振り向けられるようになりました。保持はスクリプトではなくポリシーによって適用され、コンプライアンスチームは保持期間に関する質問に、ポリシー定義から直接答えられるようになりました。

使用テクノロジー

ElasticsearchKibanaAmazon S3Terraform

Elasticsearchのアーキテクチャについてアドバイスが必要ですか?

AceMQのシニアElasticsearchエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。