전체 사례로 돌아가기

진단금융 서비스 / 결제

트레이스가 어디서 끊기는지, 왜 아무도 몰랐는지 찾아냅니다

글로벌 결제 처리 기업

분산 트레이스가 서비스 경계에서 계속 끊기던 서비스 환경 전반을 대상으로 APM 계측 커버리지와 트레이스 완전성을 진단했습니다.

개요

한 결제 처리 기업은 APM을 폭넓게 활성화했지만, 트레이스가 신규 서비스와 기존 서비스의 경계에서 번번이 끝나 버렸습니다. AceMQ는 전체 환경의 계측 커버리지를 진단해 컨텍스트 전파가 정확히 어디서 끊기는지 파악했습니다.

과제

신규 서비스는 자동 계측을 사용했지만, 일부 오래된 서비스는 수년 전 훨씬 오래된 라이브러리 버전을 기준으로 수동 계측되어 있었습니다. 요청이 두 영역을 넘나드는 지점에서 트레이스 컨텍스트 헤더가 누락되어, 하나의 논리적 트랜잭션이 서로 무관한 여러 트레이스로 나타났습니다. 메시징 브로커를 거치는 비동기 구간에서는 컨텍스트가 완전히 사라졌습니다. 결과적으로 비즈니스에 가장 중요한 영역의 지연은 보이지 않았고, 계측이 잘된 서비스만 빈틈없이 커버되는 것처럼 보였습니다.

환경

Kubernetes 서비스와 가상 머신에서 호스팅되는 레거시 Java 및 Python 애플리케이션이 혼재하고, 계층 간에 메시징을 사용하는 하이브리드 환경.

접근 방식

진단에서는 서비스별 트레이서 라이브러리 버전과 계측 방식을 목록화한 뒤, 실제 프로덕션 요청 경로를 종단 간 추적해 컨텍스트가 실제로 사라지는 지점을 찾습니다. AceMQ는 벤더 플랫폼을 운영하지 않으므로, 모든 발견 사항은 고객이 직접 바꿀 수 있는 부분, 즉 고객의 코드, 라이브러리, 전파 구성에 관한 것입니다.

해결책

  1. 서비스별 트레이서 라이브러리 버전과 계측 방식을 목록화하고, 호환되지 않는 전파 기본값을 가진 버전 표시
  2. 실제 프로덕션 요청 경로를 종단 간 추적해 컨텍스트가 누락되는 정확한 구간 파악
  3. 컨텍스트 전파에 명시적 캐리어 처리가 필요한 비동기 및 메시지 기반 구간은 별도로 진단
  4. 헤드 기반 샘플링 결정이 중요한 트레이스를 조용히 버리지 않도록 서비스별 샘플링 구성 검토
  5. 수정 난이도가 아닌 비즈니스 핵심 경로 순으로 정렬한 계측 개선 계획 수립
  6. 어차피 재작업이 예정된 서비스에 대해 벤더 중립적인 OpenTelemetry 계측으로의 전환 경로 평가

성과

핵심 결제 경로의 종단 간 트레이스 완전성이 단편적인 수준에서 거의 완전한 수준으로 높아졌고, 그 덕분에 어떤 대시보드에도 나타난 적 없던 레거시 서비스의 지연 요인이 드러났습니다. 개선 백로그는 어느 팀이 자원했는지가 아니라 비즈니스 영향도 순으로 정렬되어 있습니다.

기술

DatadogOpenTelemetryKubernetesJavaPython

Datadog 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 Datadog 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.