概要
ある保険サービス事業者は、ベンダーのエージェントとOpenTelemetryの計装を混在させて運用しています。トレースは、両者の境界でたびたび途切れていました。AceMQは、サービスが変わっても伝搬が機能し続けるよう、継続的なサポートを提供しています。
課題
サービスごとにコンテキストの伝搬に使うヘッダーの形式が異なり、境界の両側にあるサービスはそれぞれ一方の形式しか受け付けない設定になっていました。リクエストがベンダーのエージェントを使うサービスからOpenTelemetryのサービスへ渡ると、受け取ったコンテキストは無視され、新しいトレースが始まっていました。メッセージブローカーを経由する非同期のホップでは、メッセージのヘッダーにコンテキストを注入する仕組みがなかったため、コンテキストが完全に失われていました。そして新しいサービスが加わるたびに、同じ問題が別の場所で再発していました。
環境
Javaと.NETのサービスが混在し、ベンダーのエージェントとOpenTelemetryの計装が併存するハイブリッド環境。階層間はメッセージ駆動で連携。
アプローチ
サポートの対象は、ベンダーのデータ取り込みプラットフォームではなく、お客様が所有する計装です。すべての箇所で受け付けられる単一の伝搬形式に標準化し、メッセージングのホップでのコンテキストの注入を、各チームの責任ではなく共有ライブラリの機能としました。さらに、伝搬が途切れると失敗する、合成のエンドツーエンドのトレースチェックを追加しました。
ソリューション
- プランに応じた15分からの対応目標と、環境のトレーストポロジーを把握した専任のシニアエンジニアによる24/7のサポート
- ベンダーのエージェントとOpenTelemetryのサービスで単一の伝搬形式に標準化し、移行期間中は両方の形式を受け付ける構成に
- メッセージブローカーでのコンテキストの注入と抽出を共有ライブラリに移し、非同期のホップでもデフォルトで伝搬されるように
- 合成のエンドツーエンドのトランザクションを常時実行し、トレースが経路全体をカバーできなかった場合にアラートを発報
- 上流と下流の判定が一致するよう、サービス間でサンプリングの設定を整合
- お客様の新規サービスのチェックリストに計装のレビューを組み込み、追加されるサービスが最初から正しく計装されるように
結果
トレースは現在、非同期のホップを含めてリクエストの経路全体をカバーしており、合成チェックはデプロイから数分以内に伝搬の不具合を検知します。新しいサービスは、後から修正するのではなく、最初から正しく計装された状態で環境に加わっています。