개요
한 에너지 유틸리티 기업은 7년치 계량기 및 전력망 텔레메트리를 Druid에 보관하고 있었는데, 모든 세그먼트가 기간과 관계없이 동일한 historical 노드에 같은 복제 계수로 저장되어 있었습니다. 오래된 데이터에 대한 쿼리는 거의 없는데도 인프라 비용은 보존 기간에 비례해 늘어났습니다. AceMQ는 티어링 방안을 진단했습니다.
과제
티어링은 실제 접근 분포를 알 때에만 효과가 있으며, 이에 대한 가정은 대개 틀립니다. 오래된 데이터에 대한 규제 쿼리는 드물지만 정해진 시간 안에 반드시 성공해야 합니다. 진단에서는 데이터 기간별 실제 접근 패턴을 파악한 뒤, 필요한 쿼리 동작을 유지하면서 비용을 낮출 수 있는 티어링 구성을 찾아야 했습니다.
환경
온프레미스 하드웨어와 클라우드 오브젝트 스토리지에 걸쳐 운영되며, 수년치 전력망 및 계량기 텔레메트리를 보존하는 Apache Druid.
접근 방식
AceMQ는 기대치에 의존하지 않고 쿼리 로그를 분석해 세그먼트 기간별 접근 분포를 구축한 다음, 규제 목적 접근 시 콜드 티어 응답 시간을 포함해 각 티어링 구성의 비용과 쿼리 동작을 함께 모델링했습니다.
해결책
- 가정이 아닌 실제 쿼리 로그로 세그먼트 기간별 접근 분포 구축
- 실측 접근 패턴에 매핑한 로드 규칙으로 핫, 웜, 콜드 historical 티어 모델링
- 가용성 및 복구 요건에 비추어 콜드 티어의 복제 계수 축소 평가
- 가장 오래된 데이터에 대한 옵션으로 딥 스토리지 직접 쿼리를 평가하고 응답 특성 측정
- 규제상 보존 의무에 비추어 보존 및 삭제(drop) 규칙 검토
- 장단점을 명시한 티어링 옵션별 비용 및 성능 모델 제시
성과
이 유틸리티 기업은 가정이 아닌 실측 접근 데이터에 근거한 티어링 계획을 확보했으며, 규제 쿼리를 요구 응답 시간 안에 유지하면서 historical 노드 규모를 줄일 수 있는 명확한 경로를 갖게 되었습니다. 장단점은 구현 이후에 발견되는 것이 아니라 처음부터 명시되었습니다.