概要
あるヘルスケア分析企業は、キャパシティプランニングのための長い履歴と、一部の運用メトリクスの複数年保持を必要としていましたが、それをPrometheusに非常に大きなブロックボリュームを接続することで実現していました。AceMQはその代わりに、オブジェクトストレージを基盤とし、ダウンサンプリングを組み合わせたアーキテクチャを設計しました。
課題
ローカルの保持期間は1年を大きく超えて設定されており、その結果、インスタンスごとに巨大なボリュームのプロビジョニングが必要になり、コンパクションは遅く、インスタンスの移動も困難でした。長期間を対象とするクエリは、期間全体の生の解像度のサンプルをスキャンするためタイムアウトしていました。さらに、実質的な耐久性の担保もありませんでした。保持データは単一のインスタンスに接続されたボリュームにあったため、インスタンスを失えば、事業として保持を約束していた履歴も失われることになります。
環境
複数のAWSアカウントにまたがるKubernetes上のPrometheus。オブジェクトストレージは利用可能で、一部のメトリクスには規制上の保持義務あり。
アプローチ
当社は、Prometheusに求められていた2つの役割を切り分けました。アラート用の直近の高解像度データと、計画と監査のための長期の履歴です。Prometheusは短いローカルの期間だけを保持し、ブロックはオブジェクトストレージに送られ、そこでダウンサンプリングを行うコンパクターが長期クエリ用の粗い解像度のデータを生成します。保持義務は、インスタンスの構成ではなく、オブジェクトのライフサイクルポリシーによって担保されます。
ソリューション
- ローカルのPrometheusの保持期間を、アラートと直近のデバッグだけに必要な短い期間に短縮
- オブジェクトストレージへのブロックの送信と、5分および1時間の解像度にダウンサンプリングするコンパクターの導入
- 要求された期間に応じて適切な解像度を自動的に選択するよう、クエリレイヤーを構成
- バケットのプレフィックスごとのオブジェクトライフサイクルルールで保持義務を担保し、Prometheusとは独立して監査可能に
- 高可用性構成のPrometheusペア間で重複排除を構成し、長期クエリが一貫した1本の系列を返すように
- お客様の実際のデータ量に基づき、プロビジョニング型ブロックストレージとオブジェクトストレージ+ダウンサンプリングを比較するコストモデル
結果
インスタンスあたりのプロビジョニング型ブロックストレージはおよそ1桁減少し、以前はタイムアウトしていた1年規模のキャパシティのクエリも、ダウンサンプリングされたデータに対して数秒で結果を返すようになりました。保持義務は、個々のインスタンスが存続しているかどうかに依存することなく、担保も監査もできるようになりました。