개요
한 광고 거래소는 거의 실시간에 가까운 입찰 분석을 Druid에 의존하고 있었습니다. 피크 트래픽 동안 Kafka 슈퍼바이저 지연이 몇 초에서 몇 시간으로 늘어나, 트레이더들이 의존하는 대시보드가 정작 중요한 순간에 오래된 데이터를 보여 주었습니다. AceMQ는 긴급 대응 SLA에 따라 투입되었습니다.
과제
지연에는 서로 겹치는 여러 원인이 있었습니다. 수집 태스크가 오래 실행되면서 대기 중인 태스크에 필요한 슬롯을 계속 점유해 Middle Manager 태스크 슬롯이 고갈되었습니다. 이 태스크들이 만든 세그먼트는 지나치게 커서 딥 스토리지로의 핸드오프와 historical 노드 로딩이 느렸습니다. 실패한 태스크는 이미 포화된 같은 슬롯 풀로 재시도되었습니다.
환경
실시간 분석을 위해 Kafka에서 입찰 및 노출 스트림을 수집하는 Kubernetes 기반 Apache Druid.
접근 방식
AceMQ는 슈퍼바이저만 따로 튜닝하지 않고 슈퍼바이저, 태스크 할당, 세그먼트 게시, 핸드오프, historical 로딩까지 수집 파이프라인 전체를 종단 간 추적해 실제로 시간이 쌓이는 지점을 찾았습니다. 하나만 고치면 대기열이 다른 곳으로 옮겨 갈 뿐이므로, 용량과 태스크 형태를 함께 바로잡았습니다.
해결책
- 슈퍼바이저부터 핸드오프와 historical 로딩까지 수집 경로 전체를 추적해 실제 지연 지점 파악
- 실제 동시 태스크 수요에 맞춰 Middle Manager 워커 용량과 태스크 슬롯 할당 재조정
- 태스크가 예측 가능한 주기로 슬롯을 반환하도록 태스크 지속 시간과 세그먼트 단위 조정
- 핸드오프와 historical 로딩이 수집 시간대 안에 끝나도록 세그먼트 크기 수정
- 스트리밍 수집 용량을 배치 및 컴팩션 태스크 용량과 분리해 서로 경쟁하지 않도록 구성
- 슈퍼바이저 지연, 태스크 슬롯 사용률, 핸드오프 소요 시간을 각각 알림 가능한 개별 지표로 계측
성과
수집 지연은 몇 초 수준으로 돌아왔고 피크 트래픽 동안에도 그 수준을 유지했습니다. 이제 트레이딩 대시보드는 실제로 사용되는 시간대에 최신 데이터를 반영합니다.