概要
あるコマースプラットフォームでは、エージェントのアップグレード後にp99レイテンシーが上昇し、コンテナのメモリが着実に増え続けていました。AceMQは、エージェントの設定とJVMとの相互作用という、ベンダーのサポートがチューニングしないお客様側の領域を修正しました。
課題
フレームワークの計装がカスタムルーターを認識できなかったため、トランザクションの命名がURL単位の方式にフォールバックし、パスごとに別々のトランザクションが生成されていました。これがメトリクスのグルーピングの問題と、トラフィックに比例して膨らむエージェント内部の大きな名前キャッシュを生んでいました。それとは別に、非常にスループットの高いサービスで分散トレーシングが全件サンプリングで有効になっており、リクエストごとに無視できないオーバーヘッドと継続的なメモリ割り当ての負荷が加わり、それがガベージコレクションの停止時間の長期化として表れていました。
環境
カスタムのルーティングフレームワークを使い、リクエストのスループットが高く、メモリ制限のあるコンテナで稼働するKubernetes上のJavaサービス。
アプローチ
同一の負荷のもとでエージェントを有効にした場合と無効にした場合を比較し、エージェントに起因するオーバーヘッドとアプリケーション自体の挙動を切り分けました。エージェントのコストを定量化した後、エージェントが際限なく名前を生成しないようトランザクションの命名を修正し、サンプリングをサービスのスループットに見合った水準に設定しました。
ソリューション
- エージェントを有効にした場合と無効にした場合の負荷を比較し、オーバーヘッドを推定ではなく実測で定量化
- 明示的なAPI呼び出しでトランザクションの命名を修正し、カスタムルーターが意味のある有限の名前を生成するように
- メトリクスのグルーピングの問題を解消し、メモリ増加の原因となっていたエージェント内部の際限ない名前キャッシュを排除
- 最もスループットの高いサービスでは分散トレーシングのサンプリング率を下げ、エラー経路では全件のトレースを維持
- JVMのヒープとコンテナのメモリ制限を、エージェント導入前のサイジングではなく、実際のエージェントのフットプリントを考慮して再調整
- 本番相当の負荷のもとで、展開前にステージング環境でエージェントのバージョンアップの手順をテスト
結果
メモリの増加は止まり、p99レイテンシーはアップグレード前の水準に戻りました。トランザクションのデータは、個々のURLごとではなく意味のあるエンドポイント単位でまとまるようになり、再び活用できるようになりました。