개요
이 기업의 IoT 플랫폼은 대규모 연결 디바이스 군의 메시징을 RabbitMQ로 처리하고 있으며, 앞으로 대폭 확장할 계획이었습니다. 그러나 매주 발생하는 메모리 부족(OOM) 장애와 성능 병목이 플랫폼 안정성과 성장 계획을 위협하고 있었습니다.
과제
잘못된 수직 확장 방식, 1로 설정된 낮은 prefetch count, 큐에 누락된 TTL 설정 때문에 RabbitMQ 노드가 매주 메모리 부족 오류로 다운되고 있었습니다. 느린 컨슈머로 인해 프로듀서가 차단되면서 연쇄 장애가 발생했습니다. 또한 미러링 없이 클래식 큐를 사용하고 있어 노드 장애 시 데이터 유실에 취약한 상태였습니다.
환경
Kubernetes 배포, 다수의 디바이스 연결을 처리하는 RabbitMQ, Spring Boot 컨슈머, Prometheus/Grafana 모니터링을 포함한 수평 확장 계획.
접근 방식
AceMQ는 실제 운영 환경 검토, 실시간 설정 변경, 현장 밀착형 성능 최적화를 포함한 수일간의 집중 개선 작업을 수행했습니다. 메트릭을 분석하고 토폴로지를 검토한 뒤, 확장을 위한 상세한 아키텍처 권고안을 제시했습니다.
해결책
- 수직 확장 대신 노드를 늘리는 수평 확장 전략 권고
- prefetch count를 1에서 20으로 높여 컨슈머 처리량을 대폭 개선
- 디스크 직접 쓰기가 가능한 lazy queue를 구성해 프로듀서 차단 감소
- OOM 장애를 방지하기 위한 큐별 메모리 한도 및 TTL 정책 적용
- 메모리를 더 효율적으로 활용하도록 high water mark를 0.7에서 0.9로 상향
- 고가용성을 위해 클래식 큐에서 쿼럼 큐로 전환하는 마이그레이션 경로 설계
- 용량 계획을 위한 Excel 기반 서버 요구 사항 계산기 제공
성과
고객사는 반복되는 RabbitMQ 장애를 막고 컨슈머 처리량을 개선하기 위한 구성 변경 사항과 확장 로드맵을 받았으며, 늘어나는 디바이스 수를 지원할 명확한 경로를 확보했습니다.