導入事例の一覧に戻る

サポート金融サービス・決済

Prometheusを再起動するたびに生じていた、1時間に及ぶ監視の空白をなくす

グローバル決済処理事業者

ログ先行書き込み(WAL)のリプレイが遅いために、再起動のたびに監視の空白が長時間生じていた大規模なPrometheusインスタンスを継続的にサポートしています。

概要

ある決済処理事業者では、リプレイに時間がかかって監視に大きな空白が生じるため、営業時間中にPrometheusを再起動できませんでした。そのため、日常的なパッチ適用がスケジュール調整の問題になっていました。AceMQは、再起動時の挙動、保持期間、そしてメトリクスの経路自体の可用性を対象とした継続的なサポートを提供しています。

課題

各Prometheusインスタンスは非常に多くのアクティブな系列を抱えていたため、起動時のWALリプレイが長引き、それが終わるまでインスタンスはクエリにまったく応答しませんでした。ノードの退避、再起動が必要な設定のリロード、バージョンアップグレードのいずれでも監視の空白が生じ、リスク管理チームは取引時間中にそれを容認しませんでした。誰もが思いつく回避策である2つ目のレプリカの運用も試みられていましたが、レプリカの重複排除が行われていなかったため、クエリの結果が一致しませんでした。

環境

Kubernetes上でリージョンごとに2台1組で運用されるPrometheusと長期ストレージ、多数のアクティブな系列、規制に基づく変更ウィンドウ。

アプローチ

当社は2つの方向から監視の空白に取り組みました。リプレイの処理そのものを減らすことと、再起動をクエリを発行する側から見えなくすることです。リラベルによって系列数を削減することで、リプレイが直接短縮されました。そして、2台1組の前段に適切なレプリカの重複排除を追加したことで、一方のインスタンスが再起動している間ももう一方が応答できるようになり、再起動が通常の運用作業に変わりました。

ソリューション

  1. 各リージョンのトポロジーを把握しているシニアエンジニアによる、プランに応じた15分からの対応目標付きの24/7サポート
  2. リラベルによる未使用メトリクスの削除と、重複したエクスポーターの統合による系列数の削減
  3. 一方のインスタンスが透過的に再起動できるよう、重複排除を行うクエリ層を前段に置いた高可用性のPrometheusの2台1組構成
  4. クエリできる期間を損なうことなくWALのサイズを減らし、リプレイを短縮するための、保持期間とブロック期間のチューニング
  5. 規制に基づく変更ウィンドウに沿って文書化し、リハーサルした、再起動、アップグレード、設定のリロードの手順
  6. 新しいサービスが加わってもリプレイの時間が一定の範囲に収まるよう、系列の増加を定期的にレビュー

結果

再起動しても目に見える監視の空白は生じなくなり、パッチ適用は、時間外にスケジュールを組んで行う作業から、日常的なローリング作業に変わりました。未使用の系列を削除したことで、リプレイの時間そのものも半分をはるかに下回るまで短縮されました。

使用テクノロジー

PrometheusThanosKubernetesGrafana

Prometheusの専門家によるサポートが必要ですか?

AceMQのシニアPrometheusエンジニアは、まさにこのタイプの案件に対応した実績があります。アーキテクチャのアドバイス、実践的な問題解決、継続的なマネージドパートナーシップなど、どのようなご要望にもお応えします。