개요
한 보험 서비스 기업은 벤더 에이전트와 OpenTelemetry 계측을 혼용하고 있습니다. 트레이스는 그 경계에서 번번이 끝나 버렸습니다. AceMQ는 서비스가 바뀌어도 전파가 계속 동작하도록 지속적인 기술 지원을 제공합니다.
과제
서비스마다 서로 다른 헤더 형식으로 컨텍스트를 전파했고, 경계 양쪽의 서비스는 한 가지 형식만 받도록 구성되어 있었습니다. 요청이 벤더 에이전트 서비스에서 OpenTelemetry 서비스로 넘어가는 지점에서는 들어온 컨텍스트가 무시되고 새 트레이스가 시작되었습니다. 메시지 브로커를 거치는 비동기 구간에서는 메시지 헤더에 컨텍스트를 주입하는 곳이 없어 컨텍스트가 완전히 사라졌습니다. 새 서비스가 환경에 합류할 때마다 같은 문제가 새로운 곳에서 다시 생겼습니다.
환경
Java 및 .NET 서비스, 벤더 에이전트와 OpenTelemetry 계측 혼용, 계층 간 메시지 기반 통합으로 구성된 하이브리드 환경.
접근 방식
기술 지원은 벤더의 수집 플랫폼이 아니라 고객이 소유한 계측을 대상으로 합니다. AceMQ는 모든 곳에서 수용되는 단일 전파 형식으로 표준화하고, 메시징 구간의 컨텍스트 주입을 각 팀의 책임이 아닌 공유 라이브러리의 일부로 만들었으며, 전파가 끊기면 실패하는 합성 종단 간 트레이스 검사를 추가했습니다.
해결책
- 환경의 트레이스 토폴로지를 숙지한 전담 시니어 엔지니어와 플랜에 따라 15분부터 시작하는 대응 목표를 갖춘 24/7 기술 지원
- 벤더 에이전트 서비스와 OpenTelemetry 서비스 전반에 단일 전파 형식을 표준화하고, 전환 기간에는 두 형식 모두 수용
- 메시지 브로커 컨텍스트 주입 및 추출을 공유 라이브러리로 옮겨 비동기 구간도 기본적으로 전파되도록 개선
- 합성 종단 간 트랜잭션을 상시 실행하고, 트레이스가 전체 경로를 잇지 못하면 알림 발송
- 업스트림과 다운스트림의 판단이 일치하도록 서비스 간 샘플링 구성 조정
- 고객의 신규 서비스 체크리스트에 계측 검토를 포함해 새로 추가되는 서비스가 처음부터 올바르게 계측되도록 개선
성과
이제 트레이스는 비동기 구간을 포함해 요청 경로 전체를 잇고, 합성 검사는 배포 후 몇 분 안에 전파 회귀를 잡아냅니다. 새 서비스는 사후에 고치는 대신 올바르게 계측된 상태로 환경에 합류합니다.