전체 사례로 돌아가기

컨설팅소프트웨어 / 디지털 플랫폼

다음 배포 후에도 유지되는 커스텀 메트릭 카디널리티 거버넌스

디지털 커머스 플랫폼

관측성 지출이 우연이 아니라 가치에 따라 움직이도록 커스텀 메트릭 카디널리티, 로그 수집, 트레이스 양을 관리하는 체계를 마련한 컨설팅 프로젝트입니다.

개요

한 커머스 플랫폼의 관측성 비용은 트래픽보다 빠르게 늘고 있었고, 그 대부분은 아무도 검토하지 않은 커스텀 메트릭에서 비롯되었습니다. AceMQ는 이 데이터가 어디서 오는지 파악하고, 새 서비스가 출시되어도 유지되는 통제 장치를 마련하도록 도왔습니다.

과제

커스텀 메트릭 과금은 고유한 태그 조합 수에 따라 결정되는데, 여러 팀이 배포 식별자, 파드 이름, 고객 식별자를 태그로 추가해 두었습니다. 교체가 잦은 배포에서 파드 이름 태그가 붙은 메트릭 하나가, 어떤 대시보드도 조회하지 않는 과금 대상 시리즈를 엄청나게 만들어 냈습니다. 로그 수집도 형태만 다를 뿐 같은 문제를 안고 있었습니다. 로그가 많은 프레임워크의 디버그 레벨 로그가 인덱싱 용량의 상당 부분을 차지했지만 검색된 적은 한 번도 없었습니다.

환경

Kubernetes 워크로드, 잦은 배포 빈도, 여러 제품 팀을 갖춘 다중 계정 AWS 환경 전반에서 사용하는 Datadog.

접근 방식

AceMQ는 벤더 플랫폼을 운영하지 않습니다. 고객이 플랫폼으로 보내는 데이터를 통제하도록 돕습니다. 이번 프로젝트에서는 출처별 데이터 양을 정량화하고, 실제로 조회되는 텔레메트리가 무엇인지 확인한 뒤, 다음 배포에서 감소 효과가 슬그머니 되돌아가지 않도록 발생 계층과 수집 계층에 통제 장치를 구현했습니다.

해결책

  1. 커스텀 메트릭 양을 특정 메트릭과 태그 키에 귀속시키고, 과금 대상 시리즈 기여도 순으로 순위 산정
  2. 쿼리 사용 현황을 대조해, 한 번도 조회되지 않은 메트릭과 태그를 안전하게 제거 가능한 대상으로 식별
  3. 값이 무한정 늘어나는 식별자는 메트릭 태그가 아니라 로그나 트레이스에 두도록 하는 태그 거버넌스 정의
  4. 애플리케이션이 무엇을 내보내든 규칙이 적용되도록 수집 계층에서 메트릭 및 태그 필터링 적용
  5. 양은 많고 가치는 낮은 로그를 검색용으로 인덱싱하지 않고 보존만 하도록 로그 인덱싱 정책 분리
  6. 오류 및 느린 트레이스는 완전한 정밀도로 유지하고 일상적인 성공 요청은 샘플링하도록 트레이스 샘플링 전략 수정

성과

대시보드나 알림 커버리지를 잃지 않고 과금 대상 커스텀 메트릭 양이 약 절반으로 줄었고, 인덱싱되는 로그 양도 비슷한 폭으로 감소했습니다. 필터링이 수집 계층에 있기 때문에, 어떤 팀이 카디널리티가 높은 태그를 추가하더라도 더 이상 예상치 못한 청구서로 이어지지 않습니다.

기술

DatadogKubernetesTerraformOpenTelemetry

Datadog 아키텍처 가이드가 필요하신가요?

AceMQ의 시니어 Datadog 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.