개요
한 SaaS 기업의 텔레메트리 수집량은 비즈니스 성장 속도를 훨씬 앞질러 늘고 있었고, 그 증가에 책임지는 담당자도 분명하지 않았습니다. AceMQ는 수집량을 출처별로 귀속시키고, 아무도 사용하지 않는 데이터를 걷어 내며, 감소 효과가 유지되도록 수집 계층에 통제 장치를 마련하는 작업을 도왔습니다.
과제
수집량의 대부분은 소수의 출처에서 나왔습니다. 디버그 레벨로 전달되는 장황한 프레임워크 로그, 집계용으로만 쓰이는데 요청마다 발생하는 커스텀 이벤트, 그리고 어떤 대시보드가 표시하는 것보다 훨씬 촘촘한 간격으로 수집되는 인프라 메트릭이었습니다. 어느 팀의 텔레메트리가 청구 금액의 어느 부분을 차지하는지 아무도 알 수 없었기 때문에 비용 논의는 진전이 없었고, 증가세는 분기마다 이어졌습니다.
환경
Kubernetes 워크로드와 여러 독립 제품 팀을 갖춘 다중 계정 AWS 환경 전반에서 사용하는 New Relic.
접근 방식
AceMQ는 벤더 플랫폼을 운영하지 않습니다. 고객이 자사 인프라 밖으로 무엇을 내보낼지 결정하고 통제하도록 돕습니다. 이번 프로젝트에서는 수집량을 팀과 출처별로 귀속시키고, 실제로 조회되는 데이터가 무엇인지 확인한 뒤, 개별 애플리케이션이 무엇을 내보내든 적용되는 수집 계층에서 드롭 규칙과 샘플링을 구현합니다.
해결책
- 비용이 총액이 아니라 담당자를 갖도록 팀, 서비스, 텔레메트리 유형별로 수집량 귀속
- 쿼리 및 대시보드 사용 현황을 대조해, 수집은 되지만 전혀 사용되지 않는 텔레메트리 식별
- 사용되지 않음이 입증된 로그 및 이벤트 유형에 대해 수집 계층에서 드롭 규칙 적용
- 과거 장애 때 켜 둔 채 남아 있던 디버그 출력을 제거해 출처 단계에서 로그 전달 레벨 수정
- 인프라 메트릭 수집 간격을 대시보드와 알림이 실제로 사용하는 해상도에 맞게 조정
- 로깅 변경이 청구서가 아니라 알림으로 드러나도록 모니터링을 갖춘 팀별 수집 예산 설정
성과
데이터 소스를 잃은 대시보드나 알림 하나 없이 수집량이 약 40% 감소했습니다. 이제 수집량이 팀별로 귀속되고 예산으로 관리되므로, 증가는 분기마다 찾아오는 깜짝 청구가 아니라 눈에 보이는 의사 결정이 되었습니다.