개요
한 헬스케어 분석 기업은 용량 계획을 위한 긴 이력과 일부 운영 지표의 수년 단위 보존이 필요했지만, 이를 Prometheus에 매우 큰 블록 볼륨을 연결하는 방식으로 해결하고 있었습니다. AceMQ는 그 대신 다운샘플링을 적용한 오브젝트 스토리지 기반 아키텍처를 설계했습니다.
과제
로컬 보존 기간이 1년을 훨씬 넘게 설정되어 있어, 인스턴스마다 막대한 볼륨을 프로비저닝해야 했고, 컴팩션이 느렸으며, 인스턴스 이전도 고통스러웠습니다. 긴 기간에 대한 쿼리는 전체 기간의 원본 해상도 샘플을 스캔하느라 타임아웃되었습니다. 실질적인 내구성 대책도 없었습니다. 보존 데이터가 단일 인스턴스에 연결된 볼륨에 있었으므로, 인스턴스를 잃으면 회사가 보존하기로 약속한 이력도 잃게 되는 구조였습니다.
환경
여러 AWS 계정에 걸친 Kubernetes 기반 Prometheus로, 오브젝트 스토리지를 사용할 수 있고 일부 지표에는 규제상 보존 의무가 있습니다.
접근 방식
Prometheus가 떠맡고 있던 두 가지 역할을 분리했습니다. 알림을 위한 최근의 고해상도 데이터와, 계획 및 감사를 위한 장기 이력입니다. Prometheus는 짧은 로컬 기간만 유지하고, 블록은 오브젝트 스토리지로 전송되며, 그곳에서 다운샘플링 컴팩터가 장기 쿼리용 저해상도 데이터를 생성합니다. 보존 의무는 인스턴스 구성이 아니라 오브젝트 수명 주기 정책으로 적용됩니다.
해결책
- 로컬 Prometheus 보존 기간을 알림과 즉각적인 디버깅에만 맞춘 짧은 기간으로 단축
- 5분 및 1시간 다운샘플링 해상도를 생성하는 컴팩터와 함께 오브젝트 스토리지로 블록 전송
- 요청된 기간에 따라 적절한 해상도를 자동으로 선택하도록 쿼리 계층 구성
- 버킷 접두사별 오브젝트 수명 주기 규칙으로 보존 의무를 적용해 Prometheus와 독립적으로 감사 가능
- 고가용성 Prometheus 쌍 간 중복 제거를 구성해 장기 쿼리가 하나의 일관된 시계열을 반환
- 고객사의 실제 데이터 양을 기준으로 프로비저닝된 블록 스토리지와 오브젝트 스토리지 및 다운샘플링 비용을 비교한 비용 모델
성과
인스턴스당 프로비저닝된 블록 스토리지가 약 10분의 1 수준으로 줄었고, 타임아웃되던 1년 범위의 용량 쿼리가 이제 다운샘플링된 데이터로 몇 초 만에 결과를 반환합니다. 보존 정책은 이제 특정 인스턴스의 생존에 의존하지 않고 적용 및 감사할 수 있습니다.