概要
ある決済処理事業者は、APMを広く有効にしていたものの、トレースは新しいサービスと古いサービスの境界で日常的に途切れていました。AceMQはサービス群全体の計装カバレッジをアセスメントし、コンテキストの伝搬がどこで途切れているかを正確に特定しました。
課題
新しいサービスは自動計装を使っていましたが、古いサービスのいくつかは、何年も前にかなり古いバージョンのライブラリに対して手作業で計装されていました。リクエストが両者の間をまたぐと、トレースコンテキストのヘッダーが失われ、1つの論理的なトランザクションが互いに無関係な複数のトレースとして表示されていました。メッセージブローカーを経由する非同期のホップでは、コンテキストが完全に失われていました。その結果、ビジネスにとって最も重要な部分のレイテンシーは見えない一方で、計装の行き届いたサービスは網羅的にカバーされているように見えていました。
環境
Kubernetes上のサービスと、仮想マシンでホストされたレガシーアプリケーションが混在する、JavaとPythonのハイブリッド環境。階層間はメッセージングで連携。
アプローチ
アセスメントでは、サービスごとにトレーサーライブラリのバージョンと計装方法を棚卸しし、実際の本番リクエスト経路をエンドツーエンドでトレースして、コンテキストが実際にどこで失われているかを特定します。AceMQはベンダーのプラットフォームを運用していないため、指摘事項はすべて、お客様のコード、ライブラリ、伝搬設定という、お客様自身が変更できる部分に関するものです。
ソリューション
- サービスごとにトレーサーライブラリのバージョンと計装方法を棚卸しし、伝搬のデフォルト設定に互換性のないバージョンを洗い出し
- 実際の本番リクエスト経路をエンドツーエンドでトレースし、コンテキストが失われる正確なホップを特定
- 非同期およびメッセージ駆動のホップは、コンテキストの伝搬に明示的なキャリアの処理が必要なため、個別に評価
- サービスごとにサンプリング設定をレビューし、ヘッドベースのサンプリング判定が重要なトレースを気づかないうちに破棄しないように
- 修正のしやすさではなく、ビジネス上重要な経路の順に優先度をつけた計装の改善計画
- どのみち改修予定のサービスについて、ベンダーニュートラルなOpenTelemetryの計装への移行パスを評価
結果
中核となる決済経路のエンドツーエンドのトレースは、断片的な状態からほぼ完全な状態になり、どのダッシュボードにも一度も表れていなかったレガシーサービスのレイテンシー要因が明らかになりました。改善のバックログは、名乗り出たチームの順ではなく、ビジネスへの影響の大きさの順に並んでいます。