개요
이 기업은 전 세계에서 사용되는 미션 크리티컬 공항 게이트 관리 시스템을 제공합니다. Kubernetes에 배포된 RabbitMQ에서 메시지 발행 실패, 클러스터 페일오버 문제, 쿼럼 큐 동기화 문제가 발생하며 시스템 가용성을 위협하고 있었습니다.
과제
RabbitMQ가 공유 Kubernetes 노드에 PostgreSQL과 함께 배치되어 리소스 경합이 발생하고 있었습니다. 3,000 IOPS 스토리지에서 쿼럼 큐 동기화가 실패했고, 클러스터 파티션으로 인해 좀비 바인딩과 메시지 발행 실패가 발생했습니다. 또한 Azure와 VMware 환경 전반에서 안정성을 유지하면서 RabbitMQ 4.2로 업그레이드해야 했습니다.
환경
Azure와 VMware에 걸친 Kubernetes 클러스터, PostgreSQL과 함께 배치된 RabbitMQ, Prometheus/Grafana 모니터링, C 및 Node.js 클라이언트 애플리케이션.
접근 방식
AceMQ는 매일 세션을 진행하는 수주간의 집중 진단을 수행하며, FIO로 디스크 벤치마크를 실시하고, Raft 합의 로그를 분석하고, 인프라 격리 전략을 설계했습니다. 또한 페일오버 절차, 모니터링, 백업/복원, 페더레이션을 아우르는 종합 문서를 제공했습니다.
해결책
- 격리된 SSD 스토리지를 갖춘 전용 노드로 RabbitMQ를 PostgreSQL과 분리
- 쿼럼 큐에 필요한 1밀리초 미만의 지연 시간을 확보하기 위해 Premium SSD v2 디스크 권고
- 멈춘 쿼럼 큐와 좀비 바인딩을 자동으로 탐지하고 복구하는 스크립트 개발
- 선제적인 클러스터 상태 모니터링을 위한 Prometheus 메트릭 및 Grafana 알림 구성
- 페일오버, 백업/복원, 페더레이션 운영을 위한 종합 런북 제공
- 안정성 검증을 포함한 RabbitMQ 3.x에서 4.2로의 업그레이드 경로 안내
성과
고객사는 적절한 리소스 격리, 자동화된 복구 절차, 종합적인 모니터링을 통해 Kubernetes에서 RabbitMQ를 안정적으로 운영하게 되었으며, 전 세계 공항 시스템의 메시징 신뢰성을 확보했습니다.