전체 사례로 돌아가기

진단소프트웨어 / 디지털 플랫폼

분기에 한 번 읽는 데이터를 위해 로컬 NVMe 용량을 늘리는 일은 이제 그만

커넥티드 디바이스 플랫폼 기업

장기 보존을 위한 계층형 스토리지를 설계해, 로컬 디스크 용량이 보존 기간을 좌우하지 않도록 과거 데이터를 오브젝트 스토리지에 두었습니다.

개요

계층형 스토리지는 최근 구간은 로컬 디스크에 두고, 닫힌 로그 세그먼트는 오브젝트 스토리지로 옮깁니다. 그 결과 보존 기간이 프로비저닝한 NVMe 크기에서 분리됩니다. AceMQ는 읽기 패턴이 이를 정당화하는지 평가하고, 측정된 동작을 바탕으로 구성과 용량을 설계합니다.

과제

수개월에서 수년에 이르는 보존 요건이 있는 팀은 모든 브로커에 로컬 디스크를 과잉 프로비저닝하거나, 보존 기간을 줄이고 재생 능력을 포기하게 됩니다. 계층형 스토리지가 이를 해결하지만, 로컬 캐시 구간이 컨슈머의 실제 읽기 방식과 맞을 때만 그렇습니다. 토픽 처음부터 재생하는 재구축 작업은 오브젝트 스토리지에서 대량의 데이터를 끌어오며, 이를 미리 모델링하지 않은 팀은 그에 따른 요청 비용과 송신(egress) 비용에 놀라게 됩니다.

환경

로컬 NVMe와 S3 호환 오브젝트 스토리지를 갖춘 Kubernetes 또는 클라우드 인스턴스 상의 Redpanda 클러스터로, 스트리밍 컨슈머와 주기적인 과거 데이터 재생을 모두 지원하는 환경.

접근 방식

AceMQ는 시간에 따른 컨슈머 읽기 오프셋을 프로파일링해 컨슈머가 실제로 얼마나 과거까지, 얼마나 자주 읽는지 측정하고, 이를 바탕으로 로컬 캐시 구간을 정합니다. 이어서 토픽별 보존 기간을 핫 로컬 계층과 콜드 오브젝트 계층으로 나누고, 최악의 경우가 아니라 실제 재생 패턴을 기준으로 원격 읽기 비용을 모델링합니다.

해결책

  1. 실제 최근 구간 범위와 깊은 과거 데이터 재생 빈도를 측정하기 위한 컨슈머 읽기 오프셋 프로파일링
  2. 토픽별로 로컬 핫 스토리지와 원격 오브젝트 스토리지 계층 간 보존 기간 분할
  3. 측정된 핫 구간에 컨슈머 지연 상황을 대비한 여유분을 더해 로컬 디스크 및 캐시 용량 산정
  4. 최악의 경우가 아니라 실제 재생 패턴을 기준으로 한 오브젝트 스토리지 요청, 송신, 수명 주기 비용 모델링
  5. 콜드 계층에서 재생하는 배치 및 분석 작업의 원격 읽기 성능 검증
  6. 오브젝트 스토리지 기반 클러스터 재구축을 포함해, 원격 계층을 대상으로 복구 및 토픽 재생성 절차 검증

성과

고객사는 로컬 스토리지를 비례해서 늘리지 않고도 보존 기간을 한 자릿수 이상 늘리며, 비용 모델은 측정된 읽기 동작을 반영합니다. 복구 절차는 장애 도중이 아니라 필요해지기 전에 검증됩니다.

기술

RedpandaApache KafkaKubernetesApache Spark

Redpanda 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 Redpanda 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.