개요
한 통신 사업자의 Druid 클러스터에는 컴팩션 정책 없이 수년간의 네트워크 텔레메트리가 쌓여 있었습니다. 세그먼트 수는 수백만 개로 늘어났고, 코디네이터 작업량도 함께 늘었으며, 모든 쿼리가 데이터 양이 아니라 세그먼트 수에 비례하는 오버헤드를 부담하고 있었습니다. AceMQ는 세그먼트 단위 및 컴팩션 전략을 설계했습니다.
과제
스트리밍 수집은 본래 쿼리가 원하는 크기가 아니라 수집 기간에 맞춰진 작은 세그먼트를 만들어 냅니다. 컴팩션이 없으면 이 세그먼트들은 무기한 남습니다. 재설계에서는 실제 쿼리 시간 범위에 맞는 세그먼트 단위를 고르고, 프루닝을 개선하는 2차 파티셔닝을 정의하며, 컴팩션이 태스크 용량을 두고 수집과 경쟁하지 않도록 일정을 잡아야 했습니다.
환경
수년 치 네트워크 성능 및 가입자 텔레메트리를 저장하는 온프레미스 Apache Druid 클러스터.
접근 방식
AceMQ는 데이터 소스별 쿼리 시간 범위의 분포를 분석해 데이터가 실제로 조회되는 방식에 맞는 세그먼트 단위를 선택한 뒤, 수집을 방해하지 않고 지속적으로 실행되도록 태스크 용량을 명시적으로 예약한 자동 컴팩션을 설계했습니다.
해결책
- 관례가 아니라 근거에 따라 세그먼트 단위를 정하기 위해 데이터 소스별 쿼리 시간 범위 분포 분석
- 쿼리가 가장 많이 필터링하는 차원에 2차 파티셔닝을 정의해 세그먼트 내 프루닝 개선
- 목표 세그먼트 크기와 명시적으로 예약된 태스크 용량을 갖춘 자동 컴팩션 구성
- 클러스터에 과부하를 주지 않도록 과거 백로그의 컴팩션을 제한된 단계로 나누어 일정 수립
- 쿼리 단위가 허용하는 범위에서 세그먼트 크기를 줄이도록 데이터 소스별 롤업 및 메트릭 집계 정책 설정
- 데이터 소스별 세그먼트 수와 평균 세그먼트 크기를 추적 대상 운영 지표로 지정
성과
백로그 컴팩션이 진행되면서 세그먼트 수가 대폭 줄었고, 이제 자동 컴팩션이 새 데이터가 들어와도 그 수를 일정하게 유지합니다. 코디네이터 부하가 줄었으며, 쿼리 오버헤드는 세그먼트 수가 아니라 데이터 양에 비례해 늘어납니다.