전체 사례로 돌아가기

문제 해결통신

글로벌 선도 통신사의 대규모 연결 디바이스 군을 지원하도록 RabbitMQ 확장

글로벌 선도 통신사

매주 발생하던 RabbitMQ 장애를 해결하고, 대규모 연결 디바이스 군에 맞춰 최적화했으며, 수평 확장 전략을 설계한 사례입니다.

성능 트러블슈팅

개요

이 기업의 IoT 플랫폼은 대규모 연결 디바이스 군의 메시징을 RabbitMQ로 처리하고 있으며, 앞으로 대폭 확장할 계획이었습니다. 그러나 매주 발생하는 메모리 부족(OOM) 장애와 성능 병목이 플랫폼 안정성과 성장 계획을 위협하고 있었습니다.

과제

잘못된 수직 확장 방식, 1로 설정된 낮은 prefetch count, 큐에 누락된 TTL 설정 때문에 RabbitMQ 노드가 매주 메모리 부족 오류로 다운되고 있었습니다. 느린 컨슈머로 인해 프로듀서가 차단되면서 연쇄 장애가 발생했습니다. 또한 미러링 없이 클래식 큐를 사용하고 있어 노드 장애 시 데이터 유실에 취약한 상태였습니다.

환경

Kubernetes 배포, 다수의 디바이스 연결을 처리하는 RabbitMQ, Spring Boot 컨슈머, Prometheus/Grafana 모니터링을 포함한 수평 확장 계획.

접근 방식

AceMQ는 실제 운영 환경 검토, 실시간 설정 변경, 현장 밀착형 성능 최적화를 포함한 수일간의 집중 개선 작업을 수행했습니다. 메트릭을 분석하고 토폴로지를 검토한 뒤, 확장을 위한 상세한 아키텍처 권고안을 제시했습니다.

해결책

  1. 수직 확장 대신 노드를 늘리는 수평 확장 전략 권고
  2. prefetch count를 1에서 20으로 높여 컨슈머 처리량을 대폭 개선
  3. 디스크 직접 쓰기가 가능한 lazy queue를 구성해 프로듀서 차단 감소
  4. OOM 장애를 방지하기 위한 큐별 메모리 한도 및 TTL 정책 적용
  5. 메모리를 더 효율적으로 활용하도록 high water mark를 0.7에서 0.9로 상향
  6. 고가용성을 위해 클래식 큐에서 쿼럼 큐로 전환하는 마이그레이션 경로 설계
  7. 용량 계획을 위한 Excel 기반 서버 요구 사항 계산기 제공

성과

고객사는 반복되는 RabbitMQ 장애를 막고 컨슈머 처리량을 개선하기 위한 구성 변경 사항과 확장 로드맵을 받았으며, 늘어나는 디바이스 수를 지원할 명확한 경로를 확보했습니다.

기술

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

RabbitMQ 프로덕션 문제에 직면해 계신가요?

AceMQ의 시니어 RabbitMQ 엔지니어는 바로 이런 유형의 프로젝트를 수행한 경험이 있습니다. 아키텍처 가이드, 실무 문제 해결, 지속적인 매니지드 파트너십 등 무엇이 필요하든 도와드릴 준비가 되어 있습니다.