개요
한 리테일 분석 서비스 기업은 Druid 기반 대시보드를 자사 고객에게 제공하고 있었기 때문에, 쿼리 지연은 내부 문제가 아니라 제품 품질 그 자체였습니다. 브로커 타임아웃이 예측할 수 없이 발생했고, 팀이 재현하려 해도 재현되지 않았습니다. AceMQ는 전담 시니어 엔지니어와 직접 에스컬레이션 체계로 기술 지원을 맡았습니다.
과제
Druid의 쿼리 지연은 쿼리가 건드리는 세그먼트 수, 그 세그먼트의 크기가 얼마나 적절한지, 결과가 캐시에서 오는지, Historical 처리 스레드에 경합이 있는지에 따라 달라집니다. 타임아웃은 세그먼트가 너무 많으면서 너무 작은 데이터소스와 상관관계가 있었고, 이는 실제 작업보다 세그먼트당 오버헤드가 더 컸다는 뜻이었습니다. 또한 처리량이 가장 많은 쿼리 패턴에서는 캐시 설정이 스스로 효과를 상쇄하고 있었습니다.
환경
지연 시간 기준이 공표된 고객용 분석 대시보드를 제공하는 AWS 기반 Apache Druid.
접근 방식
AceMQ는 쿼리별 세그먼트 수와 스캔 시간을 계측해, 정말로 비용이 큰 쿼리와 단편화된 세그먼트 때문에 오버헤드를 치르는 쿼리를 구분했습니다. 이후 기술 지원은 타임아웃에 대한 운영 대응과, 타임아웃이 더 이상 생기지 않도록 하는 구조적 개선을 모두 다뤘습니다.
해결책
- 쿼리별 세그먼트 수와 스캔 시간을 계측해 실제 작업과 세그먼트당 오버헤드를 분리
- 세그먼트가 단편화된 데이터소스를 식별하고 컴팩션을 예약해 목표 크기 범위로 조정
- 기반 인스턴스 유형에 맞춰 Historical 처리 스레드 수와 버퍼 크기 재조정
- 고처리량 패턴에서 효과를 상쇄하던 Broker 및 Historical 캐시 설정 수정
- 무거운 애드혹 쿼리가 대시보드를 굶기지 않도록 쿼리 타임아웃, 우선순위, 레이닝(laning) 정책 수립
- 1차 분류 단계 없이 시니어 Druid 엔지니어에게 바로 연결되는 24/7 에스컬레이션 제공
성과
세그먼트 단편화가 해소되면서 브로커 타임아웃은 드물어졌고, 대시보드의 p99 지연 시간은 약 절반으로 줄었습니다. 쿼리 레이닝 덕분에 무거운 애드혹 분석이 업무 시간에 실행되더라도 고객용 경로에는 영향을 주지 않습니다.