개요
이 회사는 세계 최고 수준의 통합 물리 보안 플랫폼 중 하나를 개발하고 있습니다. Windows 기반 RabbitMQ 클러스터에서 리더 선출 지연이 발생해 수 시간에 이르는 다운타임 장애가 일어나고 있었습니다.
과제
알려진 RabbitMQ 버그로 인해 고부하 상황에서 리더 선출이 수 시간 지연되면서 보안 플랫폼 운영에 심각한 다운타임이 발생했습니다. Windows 기반 배포는 운영 복잡성을 더했고, 고객사는 엄격하게 통제되는 배포 환경에서 안정성을 유지하면서 Linux로의 마이그레이션을 계획해야 했습니다.
환경
Windows 기반 RabbitMQ 배포, 고객이 지정한 환경 제약, DNS 기반 페일오버를 사용하는 로드 밸런싱 클러스터.
접근 방식
AceMQ는 버전 패치, 로드 밸런서 구성, 트러블슈팅 교육, Linux 마이그레이션 계획을 위한 맞춤형 컨설팅 시간을 제공했습니다. 이번 프로젝트에는 RabbitMQ 재시작과 트러블슈팅 절차를 위한 반복 적용 가능한 플레이북도 포함되었습니다.
해결책
- 리더 선출 버그를 해결할 특정 RabbitMQ 버전 패치 식별
- 운영 환경 적용 전 스테이징 환경 테스트 전략 설계
- 클라이언트 안정성 향상을 위한 DNS 기반 로드 밸런서 구성
- 지원 담당자를 위한 반복 적용 가능한 RabbitMQ 재시작 플레이북 개발
- 사내 지원팀을 위한 트러블슈팅 교육 프로그램 마련
- Kubernetes 검토를 포함한 Windows에서 Linux로의 마이그레이션 경로 계획
성과
고객사는 치명적인 리더 선출 문제를 해결하고, 사내 트러블슈팅 역량을 확보했으며, 운영 효율을 높이기 위한 Windows에서 Linux로의 명확한 마이그레이션 경로를 갖추게 되었습니다.