RabbitMQ

RabbitMQ HA, 재해 복구, 클러스터 사이징 실무 가이드

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트:

LEADERnode-1REPLICAnode-2REPLICAnode-3QUORUM: 2/3
이 페이지의 내용
RabbitMQ에서 고가용성을 제대로 설계하는 일은 가장 큰 영향을 미치는 아키텍처 결정 중 하나입니다. 노드가 너무 적으면 장애 시 쿼럼을 잃습니다. 너무 많으면 필요 없는 용량에 비용을 치릅니다. 페일오버 설계가 잘못되면 정작 필요할 때 DR 구성이 보호 역할을 하지 못합니다.
이 가이드에서는 기본 사항을 다룹니다. 클러스터 사이징 방법, 쿼럼 큐 HA의 실제 동작 방식, 사이트 또는 가용 영역 간 재해 복구 설계, 그리고 팀들이 예상하지 못해 당하는 함정입니다.
This guide covers the fundamentals: how to size your cluster, how quorum queue HA actually works, how to design for disaster recovery across sites or availability zones, and the gotchas that catch teams off guard.

RabbitMQ 클러스터에는 노드가 몇 대 필요한가요?

운영 RabbitMQ 클러스터의 표준 권장 구성은 노드 세 대입니다. 임의로 정한 숫자가 아닙니다. 쿼럼 큐와 클러스터 메타데이터 관리의 기반인 RabbitMQ Raft 합의 메커니즘의 쿼럼 요건에서 나온 숫자입니다.
노드가 세 대라면, 한 대가 다운되어도 세 대 중 두 대가 남아 여전히 쿼럼 과반수를 유지합니다. 두 대가 다운되면 남은 노드는 기준 데이터(source of truth)로 동작하지 않습니다(RabbitMQ의 “pause minority” 동작이 데이터 손실을 올바르게 막아 줍니다).

“최소 사이징은 클러스터당 노드 세 대입니다. 그리고 처리량이 정말 높아지는 수준에 이르기 전까지는 세 대가 실제로 권장되는 정상 상태입니다.”

— Scott Sternloff, AceMQ 수석 아키텍트, 금융 서비스 기업 디스커버리 콜, 2026년 6월

왜 두 대는 안 될까요? 노드 두 대 클러스터는 한 대가 다운되기 전까지는 잘 동작하는 것처럼 보입니다. 그러나 한 대가 다운되는 순간 어느 노드도 자신이 과반수인지 소수인지 판단할 수 없어 둘 다 일시 정지합니다. 짝수 노드 클러스터(두 대, 네 대)는 모호함을 만들고, 홀수 노드 클러스터(세 대, 다섯 대, 일곱 대)는 그렇지 않습니다.
안티 어피니티는 필수입니다. 세 노드는 모두 별도의 물리 호스트(클라우드라면 별도의 가용 영역)에서 실행해야 합니다. 같은 VM이나 물리 호스트에서 클러스터 노드 두 대를 실행하면 HA의 의미가 없어집니다. 그 호스트가 장애 나면 즉시 과반수를 잃습니다.

쿼럼 큐 HA는 실제로 어떻게 동작하나요?

쿼럼 큐는 Raft 합의를 사용해, 퍼블리셔에 확인 응답을 보내기 전에 클러스터 노드 과반수에 메시지를 복제합니다. 이는 다음을 의미합니다.
  • 메시지는 확인 응답 전에 N/2+1개 노드에 기록됩니다(N은 클러스터 크기)
  • 노드 세 대 클러스터에서는 확인 응답 전에 최소 두 노드에 메시지가 기록되어야 합니다
  • 노드 하나가 장애 나도 나머지 두 노드에 메시지가 그대로 남아 있어 데이터 손실이 없습니다
  • 리더 선출은 자동입니다. 큐의 프라이머리 노드가 장애 나면 레플리카 중 하나가 승격됩니다
이는 기존 클래식 미러링 큐 방식에 비해 크게 개선된 점입니다. 클래식 미러링 큐는 스플릿 브레인 위험과 일관되지 않은 페일오버 동작에 시달렸고, 노드 복구 후에는 수동 동기화가 필요했습니다.
팀들이 놓치는 함정: 쿼럼 보호란 쿼럼을 잃었을 때 RabbitMQ가 의도적으로 접근을 제한한다는 뜻입니다. 네트워크 파티션으로 노드 하나가 나머지 두 노드와 고립되면, 그 노드는 서로 어긋난 기준 데이터가 될 위험을 감수하는 대신 스스로 일시 정지합니다. 네트워크 토폴로지와 모니터링은 이 동작을 우회하려 하지 말고 예상하도록 설계하십시오.

처리량에 맞춰 클러스터 사이징은 어떻게 하나요?

클러스터 사이징은 세 가지 요소로 결정됩니다. 메시지 처리율, 메시지 페이로드 크기, 컨슈머 처리 능력입니다.
초당 약 1,000~2,000건의 메시지를 처리하고 일반적인 페이로드 크기가 100~200KB 범위인 배포라면, 노드당 4~8 vCPU의 노드 세 대 클러스터가 합리적인 기준입니다.

“불필요하게 과잉 프로비저닝하고 싶지는 않겠지만, 곧바로 다시 와서 여유가 빠듯하니 예산을 또 달라고 말하고 싶지도 않을 겁니다. 핵심은 균형을 유지하면서 무엇이 중요한지를 따지는 것입니다.”

— Scott Sternloff, AceMQ 수석 아키텍트, 금융 서비스 기업 디스커버리 콜, 2026년 6월

제약이 되는 것은 CPU보다 메모리인 경우가 더 많습니다. RabbitMQ는 큐가 커지거나 메시지가 컨슈머를 기다리고 있을 때 메모리를 많이 사용합니다. 노드 메모리는 피크 부하 시 예상되는 큐 깊이를 여유 있게 담을 수 있도록, 여유분을 두고 산정해야 합니다.
쿼럼 큐에서는 디스크 I/O가 중요합니다. 쿼럼 큐는 확인 응답 전에 WAL과 세그먼트 파일에 기록하므로, 디스크 처리량이 메시지 확인 응답 지연 시간에 직접 영향을 미칩니다. 빠른 SSD 스토리지(NVMe 또는 그에 준하는 스토리지)를 강력히 권장합니다.

세 개의 가용 영역에 클러스터 배치하기

실제 네트워크 지연이 있는 여러 리전에 걸쳐 클러스터를 늘리면 앞서 설명한 Raft 합의 지연 문제에 부딪히며, 이는 실질적인 한계입니다. 단일 리전 안의 가용 영역 세 개는 상황이 다릅니다. 리전 내 AZ 간 왕복 시간은 보통 1~2밀리초로, Raft 합의가 정상적인 지연을 장애 신호로 오인하지 않고 충분히 감당할 수 있는 범위입니다. 그래서 AZ당 노드 하나는 타협안이 아니라 운영 환경의 표준 패턴입니다.

세 대가 최소인 이유는 이 가이드의 다른 모든 곳에서와 같으며, 이를 공간적으로 적용한 것입니다. 세 AZ에 노드를 하나씩 두면 같은 노드 세 대 토폴로지로 노드 수준의 내결함성과 영역 수준의 내결함성을 함께 얻을 수 있고, 둘 다 얻기 위해 노드를 추가할 필요가 없습니다. 세 노드를 모두 단일 AZ에서 운영하는 클러스터는 노드 수준의 내결함성은 있지만 영역 수준의 내결함성은 없어, 멀티 AZ 리전에 있는 의미 자체가 사라집니다.

노드 세 대, AZ 세 개 클러스터에서는 쿼럼 멤버 배치가 노드 배치를 자동으로 따릅니다. RabbitMQ는 설정된 그룹 크기까지 노드마다 멤버를 하나씩 배치하므로, 기본적으로 각 큐의 레플리카 세 개가 영역마다 하나씩 놓입니다. AZ가 세 개를 넘거나 AZ당 노드가 세 대를 넘는 더 큰 클러스터에서는 이것이 그대로 유지된다고 가정하지 마십시오. queue-leader-locator 정책을 balanced로 설정하고, rabbitmqctl list_queues name leader members로 핵심 큐의 레플리카가 한 영역에 몰려 있지 않은지 확인하십시오.

노드 하나가 장애 날 때뿐 아니라 영역 전체가 끊겼을 때 실제로 보호해 주는 것은 pause_minority입니다. 이는 4.2 이하 버전에 해당합니다. RabbitMQ 4.3 이상에서는 더 이상 적용되지 않습니다. 4.3.0에서 Mnesia가 제거되면서 파티션 처리 전략도 함께 제거되었고, cluster_partition_handling은 rabbitmq.conf에서 여전히 허용되지만 아무 효과가 없으며, 메타데이터 저장소, 쿼럼 큐, 스트림이 모두 Raft 기반이므로 Raft 과반수 규칙만으로 어느 쪽이 서비스를 계속할지 결정됩니다. 업그레이드할 때 이 키를 제거하십시오. AZ 하나가 나머지 두 AZ에서 도달할 수 없게 되면, 고립된 노드는 어긋난 기준 데이터가 될 위험을 감수하는 대신 스스로 일시 정지하고, 서로 통신할 수 있는 두 AZ가 과반수로서 클러스터를 계속 운영합니다. 알림은 이 일시 정지를 영역 장애에 대한 올바른 동작으로 예상하도록 설계하고, 장애 위에 겹친 또 하나의 장애로 취급하지 않도록 하십시오.

지연 시간 예산은 한 번 확인하고 끝낼 것이 아니라 지속적으로 지켜봐야 할 신호입니다. AZ 간 왕복 시간이 꾸준히 약 5밀리초를 넘는다면, 무작위 파티션인 것처럼 튜닝으로 덮으려 하지 마십시오. 리전의 AZ 구성이나 클라우드 제공업체의 네트워크 경로가 동일 리전 수준의 지연으로 동작하지 않는다는 신호로 보고, RabbitMQ를 조사하기 전에 토폴로지부터 조사하십시오.

실제로 영역이 다운되면 세 가지 일이 순서대로 일어납니다. 해당 영역의 노드가 살아 있는 노드의 rabbitmqctl cluster_status에서 빠지고, 리더가 그 영역에 있던 큐는 남은 레플리카 사이에서 새로 선출을 진행하며, 잃은 영역의 노드에 고정되어 있던 모든 클라이언트 연결이 끊겨 다른 곳으로 재연결해야 합니다. 클라이언트 구성에 노드 하나의 주소를 하드코딩하지 말고 세 노드 앞에 로드 밸런서나 DNS 항목을 두십시오. 각 노드를 개별적으로 헬스 체크해 다운된 영역이 수동 작업 없이 로테이션에서 빠지게 하고, 클라이언트 라이브러리에서 자동 연결 복구를 활성화해 끊긴 연결이 애플리케이션 재시작 없이 스스로 살아 있는 노드에 재연결되도록 하십시오.

운영 개시 전 고가용성 검증: 장애 훈련 체크리스트

한 번도 의도적으로 망가뜨려 본 적 없는 클러스터의 HA는 아직 이론에 불과합니다. 운영 개시 전, 그리고 토폴로지가 크게 바뀐 뒤에 아래 항목을 모두 실행하십시오. 클러스터가 결국 돌아왔는지만 확인하지 말고, 누군가 예상 관측 결과를 직접 지켜봐야 합니다.

  • 노드를 즉시 강제 종료합니다(beam 프로세스를 kill -9). 예상 결과: 다른 두 노드가 하트비트 간격 한 번 안에 해당 노드를 다운으로 보고하고, 그 노드에 있던 쿼럼 큐 리더가 다시 선출되며, 연결 복구가 설정된 클라이언트는 애플리케이션 오류 없이 재연결됩니다.
  • rabbitmqctl stop_app으로 노드를 정상적으로 드레인합니다. 예상 결과: 프로세스가 실제로 멈추기 전에 리더십이 넘어가고, 로그에 계획되지 않은 선출 이벤트가 나타나지 않습니다.
  • 네트워크 수준에서 영역 하나를 나머지 두 영역과 분리합니다. 예상 결과: 고립된 노드가 pause_minority에 따라 일시 정지하고, 남은 과반수는 계속 동작하며, 양쪽에서 동시에 쓰기를 받는 일이 없습니다.
  • 노드 하나의 디스크를 가득 채웁니다. 예상 결과: 해당 노드에서 디스크 알람이 발생해 새 연결을 차단하고, 클러스터의 나머지는 영향을 받지 않습니다.
  • 노드 하나의 메모리를 고갈시킵니다. 예상 결과: 메모리 알람이 발생해 해당 노드로 향하는 퍼블리셔가 차단되고, 컨슈머는 이미 큐에 쌓인 메시지를 계속 소비합니다.
  • 운영 수준의 부하가 지속되는 상태에서 노드를 재시작합니다. 예상 결과: 노드가 다시 합류하고 레플리카가 자동으로 재동기화되며, 수동 개입이 필요 없고 큐 깊이에 눈에 띄는 급증이 없습니다.
  • TLS 인증서를 강제로 만료시킵니다(또는 하위 환경에서 시뮬레이션합니다). 예상 결과: 연결이 소리 없이 멈추지 않고 명확한 핸드셰이크 오류로 실패해, 실제 인증서가 만료되기 전에 교체 런북이 제대로 동작함을 확인할 수 있습니다.
  • 무작위 노드가 아니라 현재 핵심 큐의 리더를 맡고 있는 노드를 골라 강제 종료합니다. 예상 결과: 몇 초 안에 새 리더가 선출되고, 처리 중이던 퍼블리셔 확인(publisher confirm)은 클라이언트 라이브러리가 투명하게 재시도합니다.
  • 영역 전체 장애를 시뮬레이션하기 위해 한 AZ의 모든 노드를 동시에 중지합니다. 예상 결과: 나머지 두 영역이 클러스터와 모든 쿼럼 큐를 전 과정에 걸쳐 가용 상태로 유지합니다.
  • 노드를 건드리기 전에 헬스 체크를 통해 로드 밸런서 로테이션에서 먼저 제외합니다. 예상 결과: 다른 작업을 하기 전에 해당 노드로의 트래픽 라우팅이 멈추고, 클라이언트에 보이는 오류는 하나도 없습니다.
  • 노드를 한 대씩 롤링 업그레이드합니다. 예상 결과: 전체 과정 동안 클러스터가 가용 상태를 유지하고, 버전이 섞여 있는 구간이 계획한 유지보수 시간 안에 끝납니다.
  • 확인 응답 도중 컨슈머를 크래시시킵니다. 예상 결과: 연결이 닫히면 확인 응답되지 않은 메시지가 자동으로 큐로 돌아가며, 메시지 손실이 없습니다.
  • 두 AZ 사이의 링크를 완전히 끊는 대신 인위적인 지연을 주입합니다. 예상 결과: 실제 네트워크 혼잡이 메트릭에서 어떻게 보이는지 알 수 있어, 실제 장애 때 이를 하드웨어 장애로 오인하지 않게 됩니다.

매니지드 Kubernetes에서 운영하는 클러스터의 경우, 이 훈련 중 일부(특히 노드 드레인과 롤링 업그레이드)의 플랫폼별 버전은 RabbitMQ on EKS vs AKS vs GKE와 엔터프라이즈를 위한 운영 RabbitMQ 아키텍처에서 다룹니다. 클러스터가 이미 운영 중이고 이 훈련 목록을 처음부터 스크립트로 작성하기보다 운영 수준의 부하에서 누군가 대신 실행해 주기를 원하신다면, 이는 저희 Kubernetes 미션 크리티컬 안정화 작업과 기술 지원 팀이 정기적으로 수행하는 프로젝트이며, 훈련 중 실제 빈틈이 드러나면 플랜에 따라 15분부터 시작하는 대응 목표로 뒷받침합니다.

플랜에 따라 15분부터 시작하는 대응 목표. 전담 시니어 엔지니어.

문의하기

가용 영역이나 사이트 간 재해 복구는 어떻게 동작하나요?

표준 RabbitMQ 클러스터링은 동일 데이터 센터 내의 저지연 운영을 전제로 설계되었습니다. 의미 있는 지연이 존재하는 가용 영역이나 사이트에 걸쳐 클러스터를 늘리면 Raft 합의 지연이 생기며, 지리적으로 떨어진 거리에는 권장되지 않습니다.
멀티 사이트 또는 멀티 AZ 재해 복구에 올바른 아키텍처는 웜 스키마 복제(warm schema replication)입니다(상용 Tanzu RabbitMQ 배포판에서 제공).
웜 스키마 복제가 하는 일:
  • 보조 사이트에 RabbitMQ 스키마 전체, 즉 모든 큐, 바인딩, 익스체인지, 가상 호스트, 사용자, 권한의 거의 실시간 사본을 유지합니다
  • 처리 중인 메시지를 보조 사이트로 비동기 전달하므로, 보조 사이트는 가장 최근에 동기화된 상태를 갖게 됩니다
  • 최소한의 복구 작업으로 언제든 보조 사이트를 프라이머리로 승격할 수 있습니다
  • 양방향 승격을 지원하므로 어느 사이트든 프라이머리가 될 수 있습니다

“환경의 거의 실시간 사본입니다. 트랜잭션이 실제로 비동기로 전송되고 확인 응답을 받습니다. 그래서 사본을 떠 놓고 모든 것을 따라잡아야 하는 방식이 아니라, 도달할 수 있는 가장 최근에 동기화된 메시지 브로커 상태가 됩니다.”

— Scott Sternloff, AceMQ 수석 아키텍트, 금융 서비스 기업 디스커버리 콜, 2026년 6월

사이트 간 DR 라이선스는 어떻게 되나요?

상용 라이선스 모델에서는 운영, QA, UAT, DR 여부와 관계없이 모든 환경이 집계됩니다. 운영과 DR을 완전히 미러링하는 구성이라면 프라이머리 클러스터와 DR 클러스터 모두 라이선스가 필요합니다.
소규모 배포라면 이를 최적화할 수 있습니다. 하위 환경(QA, UAT)에는 DR 레플리카가 필요 없을 수 있고, 이런 환경은 더 보수적으로 사이징할 수 있습니다.

“운영 환경만 미러링한다면 하위 환경에는 DR이 필요 없습니다. QA 환경은 클러스터링 자체가 필요 없을 수도 있습니다. 그냥 살아 있거나 죽어 있거나입니다. 그러니 구성을 훨씬 단순하게 만들고 그만큼 라이선스 수를 줄일 수 있습니다.”

— Scott Sternloff, AceMQ 수석 아키텍트, 금융 서비스 기업 디스커버리 콜, 2026년 6월

새 클러스터를 사이징하든, 멀티 사이트 페일오버를 설계하든, 웜 스키마 복제가 상용 라이선스 비용만큼의 가치가 있는지 평가하든, AceMQ 기술 지원팀에 문의하시면 고객의 환경에 맞춰 범위를 산정해 드립니다.

규제 산업 환경에서는 주변 스택에도 고유한 의무가 따릅니다. 규제 산업의 메시징 스택을 참고하십시오.

클러스터를 어떻게 사이징하고 배치할지가 아니라 리전 간 메시지를 옮기는 메커니즘이 남은 고민이라면, 그 결정을 다루는 별도 가이드가 있습니다. 재해 복구를 위한 RabbitMQ Federation과 Shovel 비교를 참고하십시오.

RabbitMQ 재해 복구 테스트 방법: 운영 개시 전에 저희가 실행하는 훈련

실전에서 노드를 한 번도 잃어 본 적 없는 클러스터는 처음 그런 일이 닥쳤을 때 예상하지 못한 모습을 드러내며, 그때는 대개 새벽 2시입니다. 다음은 RabbitMQ 클러스터가 운영 트래픽을 받기 전에 저희가 고객과 함께 실행하는 프로그램입니다. 하루 정도 걸리며, 의견이 아니라 수치를 결과로 냅니다.

사전 조건

  • 운영 환경과 같은 구조의 스테이징 클러스터: 같은 노드 수, 같은 AZ 배치, 같은 RabbitMQ 버전(저희는 3.8.x부터 4.x까지 모든 버전에서 이 훈련을 실행합니다), 같은 큐 유형, 정책, 클라이언트 라이브러리, 연결 설정. 쿼럼 큐와 클래식 큐는 장애 양상이 다르므로, 운영 환경에 둘 다 있다면 스테이징에도 둘 다 있어야 합니다. 이것이 왜 중요한지는 /blogs/rabbitmq-classic-vs-quorum-queues/를 참고하십시오.
  • 시퀀스 번호를 사용하는 합성 퍼블리셔와 컨슈머. 각 퍼블리셔는 메시지에 스트림 ID와 증가하는 카운터를 찍고, 각 컨슈머는 받은 모든 시퀀스를 기록합니다. 그러면 유실(공백)과 중복(반복)이 논쟁거리가 아니라 셀 수 있는 대상이 됩니다. 퍼블리셔는 confirm을, 컨슈머는 수동 ack를 사용합니다.
  • 대시보드 준비: 큐 깊이, 발행 및 전달 처리율, 메모리 및 디스크 알람, 노드별 쿼럼 리더 수, 연결과 채널, 클라이언트 측 confirm 지연 시간. 볼 수 없으면 통과할 수도 없습니다.
  • 지정된 런북 담당자, 공유 채널, 그리고 시계.

훈련 순서

  1. 쿼럼 멤버 하나를 종료합니다. 대부분의 큐에서 팔로워 역할을 하는 노드의 RabbitMQ를 중지합니다. 그 노드가 리더였던 큐의 리더 선출과 퍼블리셔 측 confirm 지연 시간을 지켜봅니다. 통과 기준: 선출이 몇 초 안에 끝나고, 컨슈머 측 시퀀스 공백이 0이며, 퍼블리셔 confirm이 전 과정 동안 계속 도착합니다. 노드를 재시작해 다시 합류하고 따라잡는지 확인합니다.
  1. 리더를 가장 많이 가진 노드를 종료합니다. 리더는 가장 먼저 기동한 노드에 몰리므로, 이는 훈련 1의 더 어려운 버전입니다. 해당 노드를 종료하고, 같은 신호를 지켜보고, 다시 살린 다음 리밸런스합니다.
rabbitmq-queues rebalance quorum

통과 기준: 유실이 없고, confirm이 계속되며, 리밸런스 후 노드 간 리더 수가 대체로 고르게 분포합니다.

  1. 여유 디스크 알람이 울릴 때까지 디스크를 채웁니다. disk_free_limit에 걸릴 때까지 노드 하나에 큰 파일을 씁니다. 통과 기준: 관리 화면에서 퍼블리셔 연결이 blocked로 표시되고, 발행이 실패하지 않고 멈춰 기다리며, 컨슈머는 계속 소비하고, 파일을 삭제하면 발행이 스스로 재개됩니다. 컨슈머까지 멈춘다면 컨슈머가 퍼블리셔와 연결을 공유하고 있는 것이므로, 운영 개시 전에 고치십시오.
  1. 노드 간 네트워크를 분리합니다. cluster_partition_handling = pause_minority 설정 상태에서 iptables로 노드 하나와 나머지 두 노드 사이의 트래픽을 차단합니다. 통과 기준: 소수 쪽 노드가 스스로 일시 정지하고, 과반수 쪽의 쿼럼 큐는 계속 서비스하며, 일시 정지된 노드에 붙어 있던 클라이언트는 연결 오류를 받은 뒤 주소 목록에 있는 살아 있는 호스트로 재연결하고, 규칙을 제거하면 수동 개입 없이 클러스터가 복구됩니다. 클라이언트가 남긴 로그를 기록해 두십시오. 그 한 줄이 온콜 엔지니어가 보게 될 내용입니다.
  1. 가용 영역 하나를 잃습니다. 한 AZ의 모든 노드를 동시에 중지합니다. AZ 세 개 구성에서는 과반수가 살아남습니다. 통과 기준: 훈련 1과 동일하게 유실 0, confirm 지속. 로드 밸런서가 죽은 노드를 빼는 데 몇 초 이상 걸린다면 지금 헬스 체크를 고치십시오.
  1. 리전 페일오버. 퍼블리셔를 멈추고, 리전 A에서 confirm된 가장 높은 시퀀스를 기록한 뒤, 리전 A를 내리고, 선택한 리전 간 경로(/blogs/rabbitmq-federation-vs-shovel-disaster-recovery/ 참고)를 사용해 리전 B로 페일오버합니다. RPO는 A에서 confirm되었지만 B에 끝내 나타나지 않은 메시지 수이며, 시퀀스 로그에서 바로 읽을 수 있습니다. RTO는 장애 발생부터 컨슈머가 B를 대상으로 동작하기까지의 실제 경과 시간입니다. 통과 기준: 두 수치 모두 비즈니스가 승인한 목표 안에 들어옵니다. 이 수치를 기록해 두십시오. “우리의 DR 태세는 어떤가”라는 질문에 대한 정직한 답입니다.
  1. 중복 없는 페일백. 리전 A를 복구하고 트래픽을 되돌립니다. 통과 기준: 컨슈머 시퀀스 로그에 반복이 없습니다. 반복이 있다면 컨슈머가 멱등하지 않은 것이며, 이는 브로커가 아니라 애플리케이션에서 고쳐야 할 문제입니다.
  1. 백업에서 복원합니다. rabbitmqctl export_definitions로 정의를 내보내고, 스테이징 클러스터를 파기한 뒤 다시 구축하고, 정의를 다시 가져옵니다. 통과 기준: 익스체인지, 큐, 바인딩, vhost, 사용자, 권한, 정책이 모두 돌아옵니다. 돌아오지 않는 것도 알아 두십시오. 바로 메시지입니다. 정의 백업은 데이터가 아니라 토폴로지입니다. 메시지의 생존은 백업 파일이 아니라 복제와 리전 간 경로에서 나옵니다.
훈련측정 항목통과 기준
멤버 하나 종료선출 시간, 시퀀스 공백, confirm 흐름수 초, 0건, 중단 없음
리더가 몰린 노드 종료위와 동일, 리밸런스 후 리더 분포 추가위와 동일, 대체로 균등
디스크 알람퍼블리셔 상태, 컨슈머 처리량차단됨, 소비 지속
네트워크 파티션소수 쪽 동작, 클라이언트 재연결일시 정지, 재연결, 자동 복구
AZ 하나 상실과반수 운영 지속유실 0
리전 페일오버메시지 수 기준 RPO, 분 단위 RTO합의된 목표 이내
페일백중복 건수0
백업에서 복원정의 재가져오기전체 토폴로지 복원

실행 주기 운영 개시 전, 그리고 새 노드 추가, AZ 이동, 메이저 버전 업그레이드, 파티션 처리 방식 변경 등 토폴로지가 바뀔 때마다 전체 프로그램을 실행하십시오. 단일 노드 종료는 분기마다 실행하십시오. 비용이 적게 들고, 누구도 의도하지 않은 클라이언트 재연결 동작의 변화를 잡아냅니다. 리전 페일오버는 최소 1년에 한 번, 그리고 런북 담당자가 바뀔 때마다 실행하십시오. 현재 아무도 실행해 본 적 없는 런북은 역량이 아니라 문서에 불과하기 때문입니다. /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/에 나오는 장애 대부분은 이 훈련 중 하나에서 먼저 드러났을 것입니다.

훈련을 포함한 사이징 및 DR 검토는 AceMQ의 일반적인 프로젝트입니다. /rabbitmq/를 참고하십시오.

How to test RabbitMQ disaster recovery: the drill we run before go-live

A cluster that has never lost a node in anger will surprise you the first time it does, usually at 2am. This is the programme we run with clients before a RabbitMQ cluster carries production traffic. It takes about a day and produces numbers rather than opinions.

Pre-conditions.

  • A staging cluster shaped like production: same node count, same AZ placement, same RabbitMQ version (we run this on everything from 3.8.x to 4.x), same queue types, policies, client libraries and connection settings. Quorum and classic queues fail differently, so if production has both, staging has both. See /blogs/rabbitmq-classic-vs-quorum-queues/ for why that matters here.
  • Synthetic publishers and consumers with sequence numbers. Each publisher stamps messages with a stream id and an increasing counter; each consumer records every sequence it sees. That makes loss (a gap) and duplication (a repeat) countable instead of arguable. Publishers use confirms, consumers use manual acks.
  • Dashboards up: queue depth, publish and deliver rates, memory and disk alarms, quorum leader count per node, connections and channels, and client-side confirm latency. If you cannot see it, you cannot pass it.
  • A named runbook owner, a shared channel, and a clock.

The drills, in order.

  1. Kill one quorum member. Stop RabbitMQ on a node that follows most queues. Watch leader election on the queues it led and watch confirm latency at the publishers. Pass: election completes in a few seconds, zero sequence gaps at the consumers, publisher confirms keep arriving throughout. Restart the node and confirm it rejoins and catches up.
  1. Kill the node holding the most leaders. Leaders pile onto whichever node was up first, so this is the harder version of drill 1. Kill it, watch the same signals, bring it back, then rebalance:
rabbitmq-queues rebalance quorum

Pass: no loss, confirms continue, and after the rebalance the leader count is roughly even across nodes.

  1. Fill a disk to the free-disk alarm. Write a large file on one node until disk_free_limit trips. Pass: publisher connections show as blocked in management, publishes stall rather than fail, consumers keep draining, and publishing resumes on its own once the file is deleted. If consumers stop too, a consumer is sharing a connection with a publisher; fix that before go-live.
  1. Partition the network between nodes. With cluster_partition_handling = pause_minority, block traffic between one node and the other two using iptables. Pass: the minority node pauses itself, quorum queues on the majority side keep serving, clients on the paused node see a connection error and reconnect to a surviving host from their address list, and the cluster heals without manual intervention when the rule is removed. Record what the clients logged; that line is what your on-call engineer will see.
  1. Lose an availability zone. Stop every node in one AZ at once. In a three-AZ layout a majority survives. Pass: identical to drill 1, zero loss and continuing confirms. If the load balancer takes more than a few seconds to drop the dead nodes, fix the health check now.
  1. Regional failover. Stop the publishers, note the highest sequence confirmed in region A, take region A down, and fail over to region B using whichever cross-region path you chose (see /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). RPO is the count of messages confirmed in A that never appear in B; read it straight from the sequence logs. RTO is wall-clock time from the outage to consumers running against B. Pass: both numbers sit inside the targets the business signed off on. Write them down; they are the honest answer to "what is our DR posture".
  1. Failback without duplicates. Bring region A back and return traffic to it. Pass: consumer sequence logs show no repeats. If they do, the consumers are not idempotent, and that is an application fix, not a broker fix.
  1. Restore from backup. Export definitions with rabbitmqctl export_definitions, destroy the staging cluster, rebuild it, re-import. Pass: exchanges, queues, bindings, vhosts, users, permissions and policies all come back. Know what does not: messages. A definitions backup is topology, not data. Message survival comes from replication and the cross-region path, never from a backup file.
DrillWhat you measurePass criterion
Kill one memberElection time, sequence gaps, confirm flowSeconds, zero, uninterrupted
Kill the leader-heavy nodeSame, plus leader spread after rebalanceSame, roughly even
Disk alarmPublisher state, consumer throughputBlocked, keeps draining
Network partitionMinority behaviour, client reconnectPauses, reconnects, self-heals
Lose an AZMajority continuesZero loss
Regional failoverRPO in messages, RTO in minutesInside agreed targets
FailbackDuplicate countZero
Restore from backupDefinitions re-importedFull topology back

Cadence. Run the full programme before go-live and again after any topology change: a new node, an AZ move, a major version upgrade, a change to partition handling. Run the single-node kill quarterly; it is cheap and catches client reconnect drift nobody meant to introduce. Run the regional failover at least yearly and whenever the runbook owner changes, because a runbook nobody present has executed is a document, not a capability. Most of the failures in /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ would have surfaced in one of these drills first.

A sizing and DR review, drills included, is a normal AceMQ engagement; see /rabbitmq/.

This post is one step in two longer sequences: the RabbitMQ disaster recovery guide takes HA and DR from the failure you are protecting against through to the failover test, and the clustering and sizing guide covers the node, queue-type and sizing decisions that come first.

자주 묻는 질문

RabbitMQ 재해 복구는 어떻게 테스트하나요?

운영 환경과 같은 구조의 스테이징 클러스터를 만들고, 모든 메시지에 시퀀스 번호를 찍는 합성 퍼블리셔와 컨슈머를 실행한 다음, 순서대로 장애를 일으킵니다. 노드 하나, 리더가 몰린 노드, 디스크 가득 참, 네트워크 파티션, 가용 영역 전체, 마지막으로 리전 순입니다. 각 훈련에는 측정 가능한 통과 기준이 있으며, 시퀀스 로그를 보면 메시지가 몇 건 유실되거나 중복되었는지 정확히 알 수 있습니다. 리전 훈련에서 실제 RPO와 RTO 수치를 얻습니다. 마지막으로 정의(definitions)를 내보냈다가 다시 가져와, 팀이 아무것도 없는 상태에서 클러스터를 한 번이라도 복원해 보도록 합니다.

RabbitMQ 페일오버는 얼마나 자주 테스트해야 하나요?

운영 개시 전, 그리고 노드 추가, AZ 이동, 메이저 버전 업그레이드, 파티션 처리 방식 변경 등 토폴로지가 바뀔 때마다 전체 훈련 프로그램을 실행하십시오. 단일 노드 강제 종료는 분기마다 하십시오. 한 시간이면 끝나고, 클라이언트 재연결 회귀를 초기에 잡아냅니다. 리전 페일오버는 최소 1년에 한 번, 그리고 런북 담당자가 바뀔 때마다 실행하십시오. 훈련의 핵심은 온콜 담당자가 실제로 해 봤다는 데 있기 때문입니다. 현재 당번표에 있는 누구도 페일오버를 직접 수행해 본 적이 없다면 이미 늦은 것입니다. 기술 지원 계약을 맺은 AceMQ 고객은 이 훈련 일정을 저희와 함께 잡으며, 실제 페일오버가 발생하면 플랜에 따라 15분부터 시작하는 대응 목표를 적용받습니다. /support/를 참고하십시오.

전문가가 RabbitMQ 클러스터 사이징을 해 줄 수 있나요?

가능합니다. Broadcom의 독점 전략 RabbitMQ MSP 파트너인 AceMQ와의 사이징 프로젝트는 고객의 실제 수치에서 출발합니다. 메시지 처리율, 페이로드 크기, 큐 수, 컨슈머 수, 컨슈머 장애 시 보관해야 하는 양, 그리고 비즈니스가 실제로 요구하는 RPO와 RTO입니다. 결과물로 노드 수와 AZ 배치, 여유분을 포함한 노드별 CPU·메모리·디스크 수치, 쿼럼 큐와 정책 설정, 파티션 처리 권장안, 필요한 경우 리전 간 설계, 그리고 운영 개시 전에 결과를 검증할 훈련 계획을 제공합니다. 사이징은 더 넓은 HA 및 DR 검토의 일부입니다. /rabbitmq/를 참고하십시오.

여러 가용 영역에 걸친 RabbitMQ 클러스터는 어떻게 설계하나요?

AZ마다 노드를 하나씩 두며, 표준 기준은 AZ 세 개입니다. 단일 리전 안의 AZ 간 지연 시간은 보통 1~2밀리초로 Raft 합의가 충분히 감당할 수 있는 수준이기 때문입니다. 노드 세 대 클러스터에서는 쿼럼 멤버 배치가 노드 배치를 자동으로 따르므로, 각 큐는 영역마다 레플리카 하나씩을 갖게 됩니다. 한 영역에 도달할 수 없게 되면 `pause_minority`가 보호 장치가 됩니다. 고립된 노드는 일시 정지하고, 남은 두 영역의 과반수가 계속 운영됩니다. 세 노드 앞에 로드 밸런서나 DNS 항목을 두고 클라이언트 측 연결 복구를 활성화해, 영역 하나를 잃어도 수동으로 재연결할 필요가 없게 하십시오.

운영 전에 RabbitMQ 고가용성은 어떻게 테스트하나요?

노드 강제 종료, 정상 드레인, 영역 단위 파티션, 디스크 및 메모리 고갈, 롤링 업그레이드, 그리고 AZ 전체 장애 시뮬레이션까지 포함한 체계적인 장애 훈련을 실행하고, 항목마다 예상 관측 결과를 미리 적어 두십시오. 목표는 클러스터가 결국 다시 살아난다는 것을 확인하는 데 그치지 않고, 아키텍처가 가정한 대로 동작한다는 것을 증명하는 것입니다. 운영 개시 전에 실행하고, 토폴로지나 버전이 크게 바뀐 뒤에도 다시 실행하십시오. HA에 관한 검증되지 않은 가정은 대개 실제 장애 때 처음 드러나기 때문입니다.

How do I test RabbitMQ high availability before production?

Run a structured failure drill covering node kills, graceful drains, zone-level partitions, disk and memory exhaustion, rolling upgrades, and a full simulated AZ outage, each with a written expected observation. The goal is proving the cluster behaves the way your architecture assumes it will, not just confirming it eventually comes back online. Do this before go-live and again after any significant topology or version change, since untested assumptions about HA tend to surface for the first time during a real incident.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의