概要
ある金融サービスグループでは、メトリクス、ログ、トレースがそれぞれ別のツールにあり、それらの間に共通の識別子がありませんでした。AceMQは、エンジニアがメトリクスのスパイクから関連するログやトレースへ、コンテキストを改めて導き出すことなく移動できる、Grafanaを入口とするスタックへの統合を設計しました。
課題
3種類のシグナルは、同じものをそれぞれ違う名前で呼んでいました。サービス名は大文字・小文字やサフィックスが異なり、環境のラベルも一貫しておらず、ログには共通のトレースIDやリクエストIDもありませんでした。アラートとログを突き合わせるには、時間に追われながら人が命名規則の違いを読み替える必要がありました。さらに、環境全体でエージェントが重複していたため、同じホストが何度もスクレイプされていました。
環境
Kubernetesのワークロードとレガシーな仮想マシンが混在するハイブリッド環境。データレジデンシーの分離が求められる、規制対象の複数の環境。
アプローチ
相関付けはプロダクトの問題である前に命名の問題であるため、設計作業はツールではなくラベルの分類体系から始めました。メトリクス、ログ、トレースに一律に適用する必須のラベルセットを定義し、ログ行にトレースIDが含まれるようトレースコンテキストの伝搬を規定したうえで、それをエージェント層で強制する収集のトポロジーを設計しました。
ソリューション
- サービス、環境、リージョン、チームについて必須のラベル分類体系を定義し、メトリクス、ログ、トレースに同一の形で適用
- ログ行にトレースIDとスパンIDが含まれるようトレースコンテキストの伝搬を設計し、メトリクスからログ、トレースへの移動をワンクリックで可能に
- 収集のトポロジーをホストごとに単一のエージェントへ整理し、重複したスクレイプとそのストレージコストを排除
- 収集層でデータレジデンシーの境界を強制し、規制対象のリージョンからテレメトリーが国境を越えて送信されないように
- シグナルの種類ごとに保持期間の階層を定義し、高解像度のデータは短期間、ダウンサンプリングしたデータは長期間保持
- どのチームも移行の途中で可視性を失わないよう、二重送信の期間を設けてサービス単位で段階的に移行
結果
エンジニアは現在、識別子を手作業で読み替えることなく、Grafana上でアラートから相関するログとトレースへ直接移動しています。重複した収集をなくしたことでテレメトリーの量は目に見えて減少し、共通の分類体系は新しいサービスが加わっても維持されています。