개요
한 커머스 플랫폼에서는 에이전트 업그레이드 이후 p99 지연이 높아지고 컨테이너 메모리가 꾸준히 늘어났습니다. AceMQ는 벤더 기술 지원이 튜닝해 주지 않는 고객 측 영역인 에이전트 구성과 JVM 간 상호작용을 바로잡았습니다.
과제
프레임워크 계측이 사용자 정의 라우터를 인식하지 못해 트랜잭션 이름이 URL별 방식으로 대체되었고, 그 결과 서로 다른 경로마다 별도의 트랜잭션이 생성되었습니다. 이로 인해 지표 그룹화 문제가 생겼고, 트래픽에 따라 커지는 대형 에이전트 내부 이름 캐시가 만들어졌습니다. 이와 별개로 처리량이 매우 높은 서비스에서 분산 트레이싱이 전체 샘플링으로 활성화되어 있어, 요청당 측정 가능한 오버헤드와 꾸준한 할당 압력이 더해졌고 이는 더 긴 가비지 컬렉션 일시 정지로 나타났습니다.
환경
사용자 정의 라우팅 프레임워크를 쓰는 Kubernetes 기반 Java 서비스, 높은 요청 처리량, 메모리가 제한된 컨테이너.
접근 방식
AceMQ는 동일한 부하에서 에이전트를 켠 경우와 끈 경우를 통제된 방식으로 비교해, 에이전트로 인한 오버헤드와 애플리케이션 자체 동작을 분리했습니다. 에이전트 비용을 정량화한 뒤에는 에이전트가 무한히 이름을 생성하지 않도록 트랜잭션 이름 지정을 바로잡고, 서비스 처리량에 맞는 수준으로 샘플링을 설정했습니다.
해결책
- 에이전트를 켠 경우와 끈 경우의 통제된 부하 비교로 오버헤드를 추정이 아닌 실측으로 정량화
- 명시적 API 호출로 트랜잭션 이름 지정을 바로잡아 사용자 정의 라우터가 수가 제한된 의미 있는 이름을 생성하도록 개선
- 지표 그룹화 문제를 해결해 메모리 증가를 일으키던 무제한 에이전트 내부 이름 캐시 제거
- 처리량이 가장 높은 서비스의 분산 트레이싱 샘플링을 줄이되, 오류 경로는 전체 수집 유지
- 에이전트 도입 이전 기준이 아닌 실제 에이전트 사용량을 반영해 JVM 힙과 컨테이너 메모리 한도 재조정
- 배포 전 스테이징에서 프로덕션 수준의 부하로 에이전트 버전 업그레이드 경로 테스트
성과
메모리 증가가 멈췄고 p99 지연도 업그레이드 이전 수준으로 돌아왔습니다. 트랜잭션 데이터가 서로 다른 URL마다가 아니라 의미 있는 엔드포인트 단위로 묶이면서 다시 활용할 수 있게 되었습니다.