전체 사례로 돌아가기

진단금융 서비스 / 트레이딩

데이터가 들어오기 전에 클러스터의 한계가 어디인지 파악합니다

금융 시장 데이터 제공 기업

데이터 양의 큰 증가를 앞두고 샤드 및 레플리카 토폴로지, 스토리지 티어링, 쿼리 동시성 한도, 머지 동작을 진단했습니다.

개요

한 시장 데이터 제공 기업은 저장 데이터 양을 몇 배로 늘릴 추가 거래소 피드를 온보딩하고 있었습니다. 이 기업은 클러스터를 비례해서 확장하는 대신, 실제로 늘려야 할 부분과 잘못 구성된 부분을 가려내기 위해 AceMQ에 의뢰했습니다.

과제

ClickHouse를 제대로 확장하려면 실제로 어떤 리소스가 병목인지 알아야 합니다. 머지 처리량, 쿼리 동시성, Keeper 조정 부하, 스토리지 대역폭은 각각 다른 방식으로 한계에 부딪히며, 서로 혼동되는 경우가 많습니다. 기존 클러스터는 지속 부하 상황에서 한 번도 프로파일링된 적이 없어, 무엇이 먼저 병목이 될지 아무도 알지 못했습니다.

환경

온프레미스 하드웨어와 클라우드 오브젝트 스토리지에 걸쳐 운영되며, 과거 및 당일 시장 데이터 쿼리를 처리하는 ClickHouse.

접근 방식

AceMQ는 합성 벤치마크가 아닌 대표적인 지속 부하 상황에서 클러스터를 프로파일링하며, 머지 처리량, 쿼리 대기, Keeper 요청 지연, 스토리지 대역폭을 동시에 추적해 무엇이 먼저 포화되는지 확인했습니다. 발견 사항은 예상되는 데이터 증가량에 대응시켰습니다.

해결책

  1. 대표적인 지속 부하 상황에서 클러스터를 프로파일링해 가장 먼저 포화되는 리소스 파악
  2. 쿼리 라우팅 및 장애 허용 요건에 비추어 샤드 및 레플리카 토폴로지 검토
  3. Keeper 배포, 요청 지연, 조정 부하를 그 자체로 하나의 확장 제약으로 보고 진단
  4. 티어드 스토리지 구성과 오래된 파트의 오브젝트 스토리지 이동 평가
  5. 쿼리 동시성 한도, 대기 동작, 사용자별 리소스 통제 검토
  6. 예상 데이터 양을 구체적인 확장 조치 및 그 순서와 연결한 용량 모델 제시

성과

이 기업은 클러스터를 비례 확장하지 않고 필요한 부분만 확장해 추가 피드를 온보딩했습니다. 스토리지보다 먼저 병목이 되었을 두 가지 제약, 즉 Keeper 조정과 머지 처리량은 데이터 증가 이전에 해결되었습니다.

기술

ClickHouseClickHouse KeeperS3Prometheus

ClickHouse 헬스 체크를 받을 준비가 되셨나요?

AceMQ의 시니어 ClickHouse 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.