개요
한 금융 서비스 그룹은 지표는 한 도구에, 로그는 다른 도구에, 트레이스는 또 다른 도구에 두고 있었고, 그 사이에 공통 식별자가 없었습니다. AceMQ는 엔지니어가 맥락을 다시 파악하지 않고도 지표 급증에서 관련 로그와 트레이스로 바로 이동할 수 있도록 Grafana를 앞단에 둔 스택으로의 통합을 설계했습니다.
과제
세 가지 신호 유형은 같은 대상을 서로 다른 이름으로 불렀습니다. 서비스 이름은 대소문자와 접미사가 달랐고, 환경 레이블도 일관되지 않았으며, 로그에는 공통 트레이스 또는 요청 식별자가 없었습니다. 알림과 로그를 연결하려면 시간에 쫓기는 상황에서 사람이 직접 명명 체계를 번역해야 했습니다. 환경 전반에 에이전트가 중복 배치되어 같은 호스트가 여러 번 수집되고 있기도 했습니다.
환경
Kubernetes 워크로드와 레거시 가상 머신이 혼재하고, 데이터 레지던시 분리가 필요한 여러 규제 대상 환경을 갖춘 하이브리드 환경.
접근 방식
상관 분석은 제품 문제이기 이전에 명명 문제이기 때문에, 설계 작업은 도구가 아니라 레이블 분류 체계에서 시작했습니다. AceMQ는 지표, 로그, 트레이스 전반에 동일하게 적용할 필수 레이블 세트를 정의하고, 로그 줄에 트레이스 식별자가 담기도록 트레이스 컨텍스트 전파를 명세한 뒤, 에이전트 계층에서 이를 강제하는 수집 토폴로지를 설계했습니다.
해결책
- 서비스, 환경, 리전, 팀에 대한 필수 레이블 분류 체계를 정의하고 지표, 로그, 트레이스 전반에 동일하게 적용
- 로그 줄에 트레이스 및 스팬 식별자가 담기도록 트레이스 컨텍스트 전파를 설계해, 지표에서 로그와 트레이스로 한 번의 클릭으로 이동
- 수집 토폴로지를 호스트당 단일 에이전트로 정리해 중복 수집과 그에 따른 스토리지 비용 제거
- 규제 대상 리전의 텔레메트리가 국경을 넘어 전송되지 않도록 수집 계층에서 데이터 레지던시 경계 강제
- 고해상도 데이터는 짧게, 다운샘플링된 데이터는 길게 보관하도록 신호 유형별 보존 등급 정의
- 전환 도중 어느 팀도 가시성을 잃지 않도록 이중 전송 기간을 두고 서비스 단위로 순차 이전
성과
이제 엔지니어는 식별자를 수동으로 번역하지 않고 Grafana에서 알림으로부터 연관된 로그와 트레이스로 바로 이동합니다. 중복 수집을 없애 텔레메트리 양이 눈에 띄게 줄었고, 신규 서비스가 합류하는 동안에도 공통 분류 체계가 그대로 유지되고 있습니다.