概要
ある決済代行企業は、環境全体が完全に計装されていると考えていましたが、カバーされていないコンポーネントで障害が起き、その特定に何時間もかかりました。AceMQは、サービス、依存関係、バックグラウンド処理にわたる実際のカバレッジを評価しました。
課題
デプロイされたすべてのサービスにエージェントが付いていたため、カバレッジは完全に見えていました。しかしインベントリが見落としていたのは、いくつかの重要なコードパスがそれでも見えていなかったことです。バックグラウンドワーカーと定期ジョブは、エントリーポイントを示すものがないためトランザクションを生成せず、独自のデータベースアクセスレイヤーは自動計装に認識されず、社内のHTTPクライアントラッパーを経由した外部呼び出しは、呼び出し先が特定されない汎用の外部セグメントとして表示されていました。地図上はカバーされていても、実際には、デバッグが最も難しい箇所にちょうど穴が空いていたのです。
環境
JavaとNode.jsのサービス、定期バッチ処理、独自のデータアクセスとHTTPクライアントのライブラリからなるハイブリッド環境。
アプローチ
このアセスメントでは、エージェントの数を数えるのではなく、各サービスが実際に生成しているテレメトリーを、そのサービスが実際に行っている処理と照らし合わせて確認します。デプロイのインベントリをレポートしているエンティティと比較し、サービスごとのトランザクションとセグメントのデータが想定どおりの形になっているかを調べ、自動計装が取りこぼすことで知られている領域を重点的に調査します。
ソリューション
- デプロイのインベントリをレポートしているエンティティと突き合わせ、デプロイされているのに黙ってレポートしていないサービスを発見
- エージェントが付いていればカバーされているとは考えず、サービスごとのトランザクションとセグメントのデータが想定どおりの形かを確認
- 自動では計装されにくいバックグラウンドワーカー、定期ジョブ、コンシューマーループを重点的に確認
- 独自のデータアクセスとHTTPクライアントのラッパーを計装の死角として特定し、具体的な改善策を定義
- アラートとダッシュボードのカバー範囲をビジネス上重要な経路と照らし合わせ、監視はされているのにアラートのないコンポーネントを発見
- 影響範囲の大きさで順位を付け、項目ごとに工数を見積もった優先順位付きの改善バックログ
結果
エージェントが存在していたにもかかわらず、ビジネス上重要なコードパスのおよそ5分の1がAPMから見えていないことが判明しました。優先度の最も高いギャップにカスタム計装を追加したことで、以前は特定に何時間もかかっていた種類の障害が、今では最初の数分で見えるようになっています。