개요
한 결제 처리 기업은 자사 환경이 완전히 계측되어 있다고 믿고 있었지만, 계측되지 않은 구성 요소에서 장애가 발생하자 원인을 찾는 데 몇 시간이 걸렸습니다. AceMQ는 서비스, 의존성, 백그라운드 작업 전반의 실제 커버리지를 진단했습니다.
과제
배포된 모든 서비스에 에이전트가 붙어 있었기 때문에 커버리지는 완벽해 보였습니다. 하지만 목록이 놓친 사실은 여러 핵심 코드 경로가 여전히 보이지 않는다는 것이었습니다. 백그라운드 워커와 예약 작업은 진입점을 표시하는 장치가 없어 트랜잭션을 전혀 생성하지 않았고, 자체 데이터베이스 접근 계층은 자동 계측이 인식하지 못했으며, 사내 HTTP 클라이언트 래퍼를 통한 외부 호출은 대상 정보 없이 일반적인 외부 세그먼트로만 나타났습니다. 지도상으로는 커버되어 있었지만, 실제로는 디버깅이 가장 어려운 바로 그 지점에 구멍이 있었습니다.
환경
Java 및 Node.js 서비스, 예약 배치 작업, 자체 데이터 접근 및 HTTP 클라이언트 라이브러리를 갖춘 하이브리드 환경.
접근 방식
이번 진단은 에이전트 수를 세는 대신, 각 서비스가 실제로 생성하는 텔레메트리를 그 서비스가 실제로 하는 일과 대조합니다. 배포 목록을 보고 중인 엔터티와 비교하고, 서비스별 트랜잭션 및 세그먼트 데이터가 예상한 형태를 갖추었는지 확인하며, 자동 계측이 놓치는 것으로 알려진 영역을 집중적으로 점검합니다.
해결책
- 배포 목록을 보고 중인 엔터티와 대조해, 배포는 되었지만 조용히 보고하지 않는 서비스 식별
- 에이전트가 붙어 있다고 커버되는 것으로 가정하지 않고, 서비스별 트랜잭션 및 세그먼트 데이터가 예상한 형태인지 점검
- 자동 계측되는 경우가 드문 백그라운드 워커, 예약 작업, 컨슈머 루프를 별도로 점검
- 자체 데이터 접근 계층과 HTTP 클라이언트 래퍼를 계측 사각지대로 식별하고 명확한 개선 방안 정의
- 비즈니스 핵심 경로에 대한 알림 및 대시보드 커버리지를 매핑해, 모니터링은 되지만 알림이 없는 구성 요소 식별
- 영향 범위 순으로 정렬하고 항목별 작업량을 추정한 우선순위 개선 백로그
성과
에이전트가 설치되어 있었음에도 비즈니스 핵심 코드 경로의 약 5분의 1이 APM에서 보이지 않는 것으로 드러났습니다. 우선순위가 가장 높은 공백에 커스텀 계측을 추가한 결과, 예전에는 원인을 찾는 데 몇 시간이 걸리던 유형의 장애가 이제는 처음 몇 분 안에 드러납니다.