블로그RabbitMQ

DR을 위한 RabbitMQ 페더레이션 vs Shovel: 무엇을, 언제 쓸 것인가

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 19분 분량

DR을 위한 RabbitMQ 페더레이션 vs Shovel: 무엇을, 언제 쓸 것인가
On this page

리전 간 RabbitMQ는 복제 문제가 아니라 메시지 이동 문제입니다

두 번째 리전을 계획하는 아키텍트에게서 가장 자주 듣는 질문은 결국 “DR에는 RabbitMQ 페더레이션과 Shovel 중 무엇을 써야 하나?”입니다. 올바른 질문이지만, 그 안에는 잘못된 가정이 숨어 있습니다. 두 플러그인은 상태를 공유하지 않는 클러스터 사이에서 메시지를 옮길 뿐입니다. 어느 쪽도 큐를 복사하지 않습니다. 어느 쪽도 두 클러스터를 같은 상태로 묶어 두지 않습니다. 프라이머리가 장애를 일으킨 순간 대기 클러스터가 같은 메시지를 갖고 있으리라 기대하는 DR 계획이라면 페더레이션과 Shovel 모두 실망을 안길 것이고, 그 실망은 가장 나쁜 순간에 찾아옵니다.

그렇다면 RabbitMQ 페더레이션은 재해 복구에 적합할까요? 특정한 형태의 DR이라면 그렇습니다. 전송 중 메시지의 유실이나 중복을 범위가 정해진 구간만큼 감수하고, 재처리를 견디도록 컨슈머를 설계하며, 플러그인을 사용해 두 번째 리전에 필요한 트래픽을 계속 흘려 웜 상태로 유지하는 DR입니다. Shovel도 마찬가지입니다. 이 글에서는 RabbitMQ 3.13과 4.x에서 각 플러그인이 실제로 무엇을 하는지, 복구 관점에서 의미 있는 시맨틱 차이가 어디에 있는지, 그리고 메시지를 지어내지도, 소리 없이 잃지도 않으면서 리전 장애를 견디는 두 리전 설계에서 두 플러그인을 어떻게 조합하는지 설명합니다.

범위에 관해 한 가지 짚어 둡니다. 리전 내 클러스터 사이징, 노드 수, 멀티 AZ 배치는 RabbitMQ HA 및 클러스터 사이징 가이드에서 다루므로 여기서는 반복하지 않습니다.

페더레이션의 동작 방식: 익스체인지, 큐, 업스트림, 홉

페더레이션은 풀(pull) 모델입니다. 다운스트림 클러스터가 업스트림을 선언하고, 그쪽으로 AMQP 연결을 열어 메시지를 요청합니다. 링크의 주인은 다운스트림이므로 설정도 다운스트림 쪽에서 하지만, 역할을 뒤바꿀 수 있도록 저희는 양쪽 모두에 플러그인을 활성화합니다.

방식은 두 가지입니다. 익스체인지 페더레이션은 업스트림의 같은 이름 익스체인지로 발행된 메시지를 다운스트림의 익스체인지가 받게 합니다. 내부적으로는 다운스트림이 업스트림에 내부 큐를 만들고, 다운스트림 익스체인지에 있는 것과 같은 바인딩으로 이 큐를 바인딩한 뒤 여기서 메시지를 소비합니다. 다운스트림 바인딩과 일치하는 메시지만 링크를 건너므로, 바인딩이 없는 다운스트림은 아무것도 가져오지 않습니다. 큐 페더레이션은 다운스트림 큐가 같은 이름의 업스트림 큐에서 메시지를 가져오게 하지만, 다운스트림 큐에 컨슈머가 있고 업스트림 큐에 준비된 메시지가 있을 때만 그렇습니다. 이는 복사가 아니라 사이트 간 부하 분산입니다. 다운스트림으로 넘어간 메시지는 업스트림 큐에서 사라집니다.

업스트림 정의의 max-hops 파라미터는 페더레이션된 익스체인지 체인을 따라 메시지가 얼마나 멀리 전파될지를 정합니다. 기본값은 1로, 메시지는 링크 하나를 건넌 뒤 멈춥니다. 페더레이션은 홉마다 x-received-from 헤더를 찍고, 이미 거쳐 온 업스트림으로는 메시지를 되돌려 보내지 않습니다. 이것이 양방향 구성에서 루프를 막는 장치입니다. 의도적으로 메시(mesh)를 구축하는 경우가 아니라면 max-hops는 1로 두십시오.

업스트림에 도달할 수 없을 때도 다운스트림은 로컬 퍼블리셔와 컨슈머에 계속 서비스합니다. 링크는 업스트림이 돌아올 때까지 reconnect-delay초(기본 5초)마다 재시도합니다. 장애 중 업스트림에 발행된 메시지는 업스트림 측 내부 큐에 쌓이며, 업스트림 정의에 설정한 message-ttl과 expires 외에는 크기 제한이 없고, 링크가 복구되면 빠져나갑니다. 이것이 DR 관점에서 페더레이션의 가장 유용한 특성이자 가장 흔한 함정입니다. 장시간 장애 동안 무제한으로 커진 업스트림 큐가 업스트림을 디스크 알람 상태로 몰아넣을 수 있기 때문입니다.

내부 큐는 컨슈머가 하나인 FIFO이므로, 정상 링크에서는 순서가 보장됩니다. 재연결을 거치면 보장되지 않으며, 기본 ack-mode인 on-confirm은 링크가 끊길 때 전송 중이던 메시지를 재전달할 수 있습니다. 페더레이션이 링크 너머로 보장하는 것은 최소 한 번(at-least-once)이지 결코 정확히 한 번(exactly-once)이 아닙니다. 분명히 말씀드리면, 페더레이션은 복제도 미러도 아닙니다. 대기 클러스터의 페더레이션 익스체인지는 프라이머리의 큐에 소비되지 않고 남아 있는 메시지에 대해 아무것도 알지 못합니다.

# On the downstream (standby) cluster
rabbitmqctl set_parameter federation-upstream east \
  '{"uri":["amqps://fed:REDACTED@east-a.example.internal:5671","amqps://fed:REDACTED@east-b.example.internal:5671"],"max-hops":1,"ack-mode":"on-confirm","message-ttl":3600000,"expires":86400000,"reconnect-delay":5}'

rabbitmqctl set_policy --apply-to exchanges federate-events "^events\." \
  '{"federation-upstream-set":"all"}'

URI를 리스트로 둔 데는 이유가 있습니다. 첫 번째 업스트림 노드가 다운되면 링크가 다음 노드를 시도하는데, 이것이 바로 DR 링크가 해야 할 일입니다.

Shovel의 동작 방식: 정적, 동적, ack 모드

Shovel은 브로커 안에서 컨슈머와 퍼블리셔를 하나로 붙여 놓은 것입니다. 소스 큐에서 메시지를 소비해 목적지 익스체인지나 큐로 발행하고, ack-mode에 따라 소스에서 승인합니다. 메시지는 소스를 떠납니다. 이것이 익스체인지 페더레이션과의 결정적인 차이입니다. Shovel은 옮기고, 페더레이션은 바인딩에 따라 복사합니다.

정적 Shovel은 advanced.config에 정의되며 변경하려면 노드를 재시작해야 하므로, 고정된 배관에 적합합니다. 동적 Shovel은 런타임 파라미터로, rabbitmqctl set_parameter shovel이나 관리 API로 생성하고 운영 중에 추가·변경·삭제할 수 있습니다. DR에서 저희는 거의 동적 Shovel만 사용합니다. 페일오버와 페일백이야말로 노드를 재시작하지 않고 재구성해야 하는 순간이기 때문입니다. 동적 Shovel은 노드 하나에서 실행되며, 그 노드에 장애가 나면 다른 노드에서 다시 시작됩니다.

ack-mode는 Shovel이 무엇을 잃을 수 있는지를 결정합니다. 기본값인 on-confirm에서는 목적지가 확인한 뒤에야 소스 메시지를 승인하므로, 발행과 확인 사이에 크래시가 나도 중복은 생길 수 있지만 유실은 생기지 않습니다. on-publish에서는 메시지가 목적지 연결에 기록되면, 즉 확인 전에 승인하므로, 하필 그 순간 목적지에 장애가 나면 메시지를 잃습니다. no-ack에서는 소스에서 자동 승인을 사용하므로, 무엇이든 장애가 나면 프리페치 버퍼에 있던 메시지를 잃습니다. DR 트래픽의 정답은 하나, on-confirm입니다.

재연결 동작은 페더레이션과 같습니다. 어느 한쪽 엔드포인트와 연결이 끊기면 Shovel은 reconnect-delay초를 기다렸다가 무기한 재시도합니다. 단, src-delete-after로 큐가 비면 멈추도록 지정한 경우는 예외입니다. 이 옵션은 일회성 마이그레이션이나, Shovel이 큐를 비우고 스스로 제거되기를 원하는 페일백에 유용합니다.

Shovel은 팬인(fan-in)과 팬아웃(fan-out) 토폴로지로 조합할 수 있습니다. 팬인은 소스 클러스터마다 하나씩 여러 Shovel이 하나의 목적지 익스체인지로 발행하는 구성으로, 저희는 리전별 감사(audit) 이벤트나 과금 이벤트를 중앙 클러스터로 모을 때 사용합니다. 팬아웃은 한 클러스터의 여러 Shovel이 같은 익스체인지에 바인딩된 각자의 소스 큐를 읽어 서로 다른 목적지로 전달하는 구성입니다. Shovel 하나로는 팬아웃할 수 없습니다. 각 메시지를 한 번만 소비하기 때문입니다.

rabbitmqctl set_parameter shovel orders-dr-to-west \
  '{"src-protocol":"amqp091","src-uri":"amqps://shovel:REDACTED@east-lb.example.internal:5671","src-queue":"orders.work.dr","src-prefetch-count":500,"dest-protocol":"amqp091","dest-uri":"amqps://shovel:REDACTED@west-lb.example.internal:5671","dest-queue":"orders.work.standby","ack-mode":"on-confirm","reconnect-delay":5}'

두 플러그인 모두 제공하지 않는 것: 동기 복제

단일 클러스터 안에서 쿼럼 큐는 퍼블리셔에게 확인을 보내기 전에 Raft를 사용해 모든 메시지를 멤버 과반수에 복제합니다. 확인된 메시지는 소수 노드를 잃어도 공백이나 재처리 없이 살아남습니다. 이것이 동기 복제이며, 리전 내 내구성이 필요한 워크로드에서 쿼럼 큐가 기본 선택인 이유입니다.

페더레이션도 Shovel도 이런 일은 하지 않습니다. 둘 다 프라이머리의 확인 경로 뒤에서 동작하는 비동기 컨슈머입니다. 퍼블리셔는 프라이머리의 쿼럼 큐가 커밋하면 확인을 받고, 대기 클러스터는 그보다 나중에, 즉 링크가 메시지를 소비해 WAN 너머로 보내고 대기 클러스터가 확인한 뒤에 메시지를 받습니다. 그 간극이 곧 노출 범위입니다. 정상 링크에서는 보통 수십 밀리초지만 결코 0이 아니며, 링크 장애 중에는 링크가 복구될 때까지 계속 커집니다.

Broadcom의 상용 Tanzu RabbitMQ 배포판에는 액티브 클러스터에서 패시브 클러스터로 스키마와 메시지 데이터를 복제하는 웜 스탠바이 복제 기능이 있으며, 자체 운영 모델을 갖춘 제품 기능으로 제공됩니다. 이 기능은 실재하고, 일부 조직에는 타당한 해답이며, 오픈소스 배포판에는 포함되어 있지 않습니다. 세부 내용은 벤더 문서에서 다룰 사항이므로 여기서 다시 설명하지 않겠습니다. 다만 규정 준수 요건상 완전히 지원되는 클러스터 간 복제 기능이 필요하다면 그 방향으로 논의해야 하며, Broadcom의 전략 RabbitMQ MSP 파트너로서 저희가 자주 나누는 논의이기도 합니다.

그 밖의 모든 경우에 대한 솔직한 정리는 이렇습니다. 리전 간 RabbitMQ DR은 비동기이며, 설계 작업의 핵심은 노출 범위를 제한하고 애플리케이션이 그 영향을 받지 않게 만드는 것입니다.

판단표: 페더레이션과 Shovel 중 선택하기

전체 환경에 대해 둘 중 하나만 고르는 경우는 드뭅니다. 선택은 익스체인지 단위, 큐 단위로 이루어지며, 메시지가 무엇을 의미하는지와 컨슈머가 무엇을 견딜 수 있는지에 따라 정해집니다.

고려 사항익스체인지 페더레이션이 유리Shovel이 유리
RPO 기대치링크 지연에 따라 수 초. 장애 중에는 업스트림 큐가 버퍼링수 초. 장애 중에는 소스 큐가 버퍼링
RTO 기대치낮음. 대기 클러스터에 이미 바인딩과 실시간 트래픽이 있음낮음~중간. 대기 큐의 컨슈머를 기동해야 함
액티브-액티브가능. max-hops 1의 양방향 링크까다로움. 큐마다 한 방향만 쓰는 엄격한 규율 필요
액티브-패시브가능. 단방향, 페일백 시 방향 전환가능. 가장 자연스러운 용도
양쪽 사이트의 컨슈머필수. 각 사이트가 자체 사본을 소비보통 한 사이트가 소비하고, 다른 사이트는 버퍼를 보유
메시지 순서정상 링크에서 링크 단위 FIFO. 재연결 시에는 보장 안 됨정상 링크에서 Shovel 단위 FIFO. 재연결 시에는 보장 안 됨
중복on-confirm 사용 시 재연결 때 발생 가능on-confirm 사용 시 재연결 때 발생 가능
한 번만 실행해야 하는 작업부적합. 모든 사이트가 사본을 받음적합. 메시지가 이동하고 한 사이트가 처리
여러 사이트로의 이벤트 브로드캐스트매우 적합부적합. 큐마다, 목적지마다 Shovel 하나씩 필요
지연이 크거나 손실이 많은 WAN잘 견딤. 풀 모델, 자동 재시도, prefetch-count 튜닝잘 견딤. 같은 재시도 모델, src-prefetch-count 튜닝
토폴로지 변경바인딩을 자동으로 따라감큐마다 명시적으로 지정하고 유지보수해야 함

이 표는 기본값으로 읽으십시오. 여러 서비스가 구독하고 모든 리전이 모든 이벤트를 받아야 하는 이벤트는 페더레이션된 익스체인지에 둡니다. 정확히 하나의 워커만 처리해야 하는 커맨드와 작업은 로컬에서 처리하거나 한 목적지로 의도적으로 Shovel하는 큐에 둡니다.

멀티 리전 RabbitMQ 설계 방법: 두 리전 레퍼런스 구성

고객은 “멀티 리전 RabbitMQ는 어떻게 설계하나요?”라고 물으며 다이어그램 하나를 기대합니다. 솔직한 답은 같은 클러스터 쌍 위에 겹쳐 놓은 두 개의 오버레이, 즉 이벤트용 하나와 작업용 하나입니다.

East를 프라이머리, West를 대기 리전으로 하는 두 리전을 생각해 보겠습니다. 각 리전은 노드 세 대짜리 자체 클러스터를 운영하며, 내구성이 필요한 모든 것에 쿼럼 큐를 사용합니다. 두 클러스터는 익스체인지, 큐, 바인딩, 정책, 사용자까지 동일한 정의를 가지며, 이 정의는 East에서 내보내 배포 파이프라인이 West에 적용하므로 드리프트가 생길 수 없습니다. 기본적인 익스체인지·바인딩 구성을 아직 정하는 중이라면 마이크로서비스를 위한 익스체인지, 큐, 바인딩 글에서 다루고 있으며, 운영 환경 RabbitMQ 아키텍처 가이드에서 이 구성이 전체 그림의 어디에 들어가는지 볼 수 있습니다.

이벤트 오버레이는 양방향 익스체인지 페더레이션을 사용합니다. events.*라는 이름의 모든 토픽 익스체인지를 페더레이션하여, West는 East의 다운스트림이, East는 West의 다운스트림이 되게 하고 max-hops는 1로 설정합니다. 이벤트를 구독하는 서비스는 두 리전 모두에서 실행되며, 로컬 페더레이션 익스체인지에 바인딩된 로컬 큐에서 소비합니다. 평상시에는 East가 거의 모든 것을 발행하고, West는 사본을 받아 구독자가 처리하며(읽기 모델, 캐시, 검색 인덱스), 역방향 링크는 유휴 상태로 있습니다. 링크를 건너는 대상은 바인딩이 결정하므로, East에만 있는 구독자는 자신의 트래픽을 West로 끌어오지 않습니다.

작업 오버레이는 Shovel이 제 몫을 하는 곳입니다. East의 각 커맨드 큐, 예컨대 orders.work는 orders.cmd 익스체인지의 바인딩으로 공급됩니다. 두 번째 바인딩은 같은 메시지를 orders.work.dr로 라우팅합니다. 이 큐는 주문이 East에서 정상적으로 미처리 상태로 머물 수 있는 최대 시간, 보통 15~30분에 맞춘 message-ttl을 가진 쿼럼 큐입니다. on-confirm으로 설정한 동적 Shovel이 orders.work.dr의 메시지를 West의 orders.work.standby로 계속 옮기며, 이 큐도 같은 TTL을 가집니다. 평상시에는 아무도 orders.work.standby를 소비하지 않으므로, 메시지는 도착했다가 TTL이 지나면 사라집니다. 이 큐는 최근 작업의 롤링 구간이지, 프라이머리 백로그의 미러가 아닙니다.

평상시 커맨드 컨슈머는 East에서만 실행됩니다. West에도 배포는 준비되어 있지만 커맨드 컨슈머는 0으로 스케일되어 있고, 이벤트 구독자만 실행 중입니다. 퍼블리셔는 East로 해석되는 DNS 이름이나 글로벌 로드 밸런서 항목을 통해 연결합니다.

# Applied on both clusters via the definitions pipeline
rabbitmqctl set_policy --apply-to queues dr-window "^orders\.work\.(dr|standby)$" \
  '{"message-ttl":1800000}'

리전 장애 극복: 중복과 루프 없는 페일오버와 페일백

“리전 장애가 나도 메시지가 살아남으려면 어떻게 해야 하나?”라는 질문은 세 시점으로 나뉩니다. 장애 발생, 페일오버 결정, 그리고 페일백입니다.

장애가 진행되는 동안 플러그인에는 손댈 일이 없습니다. West에서 East로 가는 페더레이션 링크는 끊기고 5초마다 재시도합니다. East에서 출발하는 Shovel은 연결하지 못하고 재시도합니다. West의 이벤트 구독자는 이미 전달된 메시지를 계속 처리합니다. 장애 직전 몇 초 동안 East에 발행되었지만 아직 링크를 건너지 못한 메시지는 East가 돌아올 때까지 그곳에 묶여 있습니다. 이것이 RPO이며, 애플리케이션 계층이 퍼블리셔 측 아웃박스나 원천 시스템에서의 재처리를 통해 책임져야 합니다.

페일오버는 자동이 아니라 의도적인 조치입니다. 저희는 모니터링의 일시적 이상으로 트리거된 자동 리전 간 페일오버가 컨슈머 스플릿 브레인을 일으켜, 정합성을 맞추는 데 주말 내내 걸린 사례를 직접 보았습니다. 런북은 짧습니다. 독립적인 프로브로 East가 정말 사용할 수 없는 상태인지 확인하고, 퍼블리셔용 DNS 또는 로드 밸런서 항목을 West로 돌리고, West의 커맨드 컨슈머를 0에서 스케일 업한 뒤, 이들이 orders.work.standby를 비우고 있는지 확인합니다. 그 큐에서 TTL보다 젊은 메시지는 모두 처리되므로, East가 마지막 구간에 이미 완료한 작업도 다시 처리됩니다. 이는 의도된 설계입니다. 모든 커맨드 컨슈머는 멱등성 키를 가지며, 대기 클러스터가 보게 될 중복 작업의 양은 TTL이 상한을 정합니다.

이제 West가 프라이머리입니다. 중요한 것은 West의 events.* 트래픽이며, East가 돌아오면 East를 다운스트림으로 하는 페더레이션 링크가 이를 East로 흘려보냅니다. West로 들어온 커맨드는 orders.work에 도착해 로컬에서 처리되고, 사본은 West의 orders.work.dr로 라우팅되어 역방향 Shovel을 기다립니다.

페일백은 서두르면 중복과 루프가 생기는 단계입니다. 저희가 쓰는 순서는 다음과 같습니다. 퍼블리셔가 가리키지 않고 커맨드 컨슈머가 0인 상태로 East를 기동합니다. West에서 East로 가는 페더레이션 링크가 이벤트 백로그를 비우게 둡니다. West의 orders.work.dr에서 East의 orders.work.standby로 가는 역방향 Shovel을 on-confirm으로 생성합니다. 그런 다음 한가한 시간대에 퍼블리셔를 East로 다시 돌리고, East의 컨슈머를 스케일 업하고, West의 컨슈머를 스케일 다운한 뒤, src-delete-after를 queue-length로 설정해 큐가 비면 역방향 Shovel이 스스로 종료되게 합니다. 어느 시점에도 두 Shovel이 같은 큐를 반대 방향으로 옮기는 일은 없으며, 어느 시점에도 커맨드 컨슈머가 같은 논리 큐를 대상으로 두 리전에서 동시에 실행되는 일은 없습니다.

이벤트 오버레이에서는 루프가 생길 수 없습니다. max-hops 1과 x-received-from 헤더가, 링크 하나를 건넌 메시지가 되돌아가는 것을 막기 때문입니다. 작업 오버레이에서 루프가 생기는 경우는 누군가 Shovel의 소스 큐로 이어지는 바인딩을 가진 익스체인지로 Shovel할 때뿐입니다. 규칙은 이렇습니다. Shovel의 목적지는 이름을 지정한 큐로 하고, 소스 큐에 메시지를 공급한 익스체인지로는 절대 Shovel하지 마십시오.

운영 개시 전에 실행할 장애 훈련

한 번도 실행해 보지 않은 DR 설계는 가설에 불과합니다. 저희는 첫 운영 전환 전에, 그리고 이후 분기마다 고객과 함께 다음 훈련을 실행합니다.

방화벽에서 클러스터 사이의 WAN 포트를 30분 동안 차단하고, 업스트림 측 페더레이션 큐와 orders.work.dr가 커지는 것을 지켜보십시오. 설정한 message-ttl과 expires가 실제로 증가를 제한하는지, 어느 클러스터도 디스크 알람 임계치에 근접하지 않는지 확인하십시오. 링크를 복구한 뒤 실제 프리페치 설정에서 백로그가 비워지기까지 얼마나 걸리는지 측정하십시오.

링크가 끊긴 동안 번호를 매긴 메시지를 정해진 수만큼 발행하고, 링크를 복구한 뒤 도착한 수를 세십시오. 누군가 “성능 때문에” 설정해 둔 no-ack Shovel과 on-publish 링크를 찾아내는 훈련입니다.

페더레이션 링크를 소유한 노드와 Shovel을 소유한 노드를 각각 따로 재시작하고, 둘 다 다른 노드에서 다시 연결되는지 확인하십시오. 재시작할 때마다 관리 UI를 흘끗 보는 대신 rabbitmqctl federation_status와 rabbitmqctl shovel_status를 확인하십시오.

큐를 의도적으로 채워 대기 클러스터에 메모리 알람을 일으키십시오. 페더레이션 링크는 다운스트림으로 발행하므로, 다운스트림 알람은 다른 퍼블리셔를 막는 것과 똑같이 링크를 막고, 업스트림 큐가 커지기 시작합니다. 알림 체계가 알람뿐 아니라 차단된 링크까지 잡아내는지 확인하십시오.

실제 컨슈머와 합성 트래픽으로 대기 클러스터를 대상으로 전체 페일오버 런북을 실행한 다음, 전체 페일백도 실행하십시오. 각 단계에서 처리된 중복을 세고, 멱등성 계층이 그 전부를 폐기했는지 확인하십시오. 두 절차의 소요 시간을 재서 런북에 수치로 기록하십시오. 그것이 실제 RTO 수치입니다.

업스트림 URI와 Shovel URI의 자격 증명을 교체하고 링크가 다시 연결되는지 확인하십시오. 실제 장애 중에 페더레이션 자격 증명이 만료된 것을 발견하는 상황을 저희는 한 번 이상 보았습니다.

운영 환경에서 자주 보는 실수

가장 흔한 실수는 페더레이션을 복제로 여기다가, 장애 대응 중에야 대기 클러스터가 프라이머리의 미소비 백로그를 전혀 갖고 있지 않다는 사실을 발견하는 것입니다. 해결책은 아키텍처에 있습니다. 살아남아야 하는 작업에는 DR 버퍼 큐와 Shovel 패턴, 또는 애플리케이션 수준의 아웃박스가 필요합니다.

그다음으로 흔한 것은 message-ttl도 expires도 없는 업스트림 정의입니다. 업스트림의 내부 페더레이션 큐는 내구성 큐이므로, 링크 장애가 길어지면 업스트림이 디스크 알람에 도달할 때까지 커지고, 결국 모든 퍼블리셔의 발행을 거부하게 됩니다. 대기 클러스터의 문제가 프라이머리 장애로 번지는 것입니다.

벤치마크에서 처리량이 더 높게 나왔다는 이유로 no-ack나 on-publish로 설정된 Shovel도 있습니다. 처리량 향상은 사실이고, 유실도 사실입니다. Shovel을 더 빠르게 해야 한다면 on-confirm을 유지한 채 src-prefetch-count를 높이십시오.

같은 큐에 걸린 양방향 Shovel도 있습니다. 대개 급하게 진행한 페일백 중에 만들어지고 제거되지 않은 것입니다. 누군가 카운터를 눈치챌 때까지 같은 메시지를 이리저리 주고받습니다.

업스트림 URI에 호스트 이름이 하나뿐인 경우도 있습니다. 장애가 난 노드가 바로 그 노드라면, 프라이머리 클러스터의 나머지가 정상이더라도 대기 클러스터의 링크는 갈 곳이 없습니다. URI 목록을 지정하거나, 노드 헬스 체크를 수행하는 로드 밸런서 주소를 사용하십시오.

리전 간 정의 드리프트도 있습니다. East에는 있고 West에는 없는 큐가 있으면 Shovel이 재시도 루프에 빠지거나, 더 나쁘게는 바인딩이 없는 익스체인지로 발행해 메시지가 버려집니다. 프라이머리에서 정의를 내보내고, 애플리케이션을 배포하는 파이프라인에서 대기 클러스터에 적용하십시오.

링크 상태를 모니터링하지 않는 것도 문제입니다. 새벽 3시에 관리 UI를 들여다보는 사람은 없습니다. federation_status와 shovel_status를 메트릭 파이프라인으로 내보내고, 재연결 지연보다 오래 running이 아닌 링크가 있으면 알림을 보내십시오.

마지막으로, DNS 레코드가 바뀐 뒤에도 한참 동안 퍼블리셔를 장애 리전에 묶어 두는 DNS TTL과 커넥션 풀이 있습니다. 클라이언트 라이브러리는 별도로 지정하지 않는 한 시작 시 해석한 주소로 재연결하므로, 페일오버 런북에 클라이언트 재시작을 포함하거나 클라이언트에 두 리전의 엔드포인트를 모두 설정해야 합니다.

다음 단계

이 글은 의도적으로 클러스터 사이의 연결 구간에만 초점을 맞췄습니다. 각 클러스터의 규모, 가용 영역 간 노드 분산, 쿼럼 큐 설정은 RabbitMQ HA 및 DR 클러스터 사이징 가이드에서 다룹니다. 페더레이션과 Shovel 오버레이가 올라가는 메시징 토폴로지는 마이크로서비스를 위한 익스체인지, 큐, 바인딩에서, 엔터프라이즈 배포의 전체 구조는 운영 환경 RabbitMQ 아키텍처 가이드에서 설명합니다.

운영 환경에서 RabbitMQ 3.8.x부터 4.x까지를 운영하면서, 화이트보드 위의 그림이 아니라 실제로 페일오버와 페일백을 거쳐 본 두 번째 리전을 원하신다면, AceMQ RabbitMQ 기술 지원이 그 작업을 직접 해 본 엔지니어의 플랜에 따라 15분부터 시작하는 대응 목표를 제공합니다. 또한 RabbitMQ 컨설팅에서는 실제로 작동해야 하는 순간이 오기 전에 고객 팀과 함께 구성을 설계하고, 구축하고, 훈련합니다.

HA와 DR의 구분, 정의 백업, 복구 목표, 페일오버 테스트 등 전체 설계에서 이 결정이 어디에 위치하는지는 RabbitMQ 재해 복구 가이드를 참고하십시오.

자주 묻는 질문

DR에는 RabbitMQ 페더레이션과 Shovel 중 무엇을 써야 하나요?

모든 리전이 받아야 하는 이벤트 트래픽에는 익스체인지 페더레이션을 사용하십시오. 바인딩을 자동으로 따라가고, 업스트림 측 버퍼로 링크 장애를 견디며, max-hops를 1로 설정하면 양방향 링크도 안전하게 지원하기 때문입니다. 각 메시지를 정확히 한 리전에서만 처리해야 하는 작업 큐에는 on-confirm으로 설정한 동적 Shovel을 사용하십시오. Shovel은 메시지를 복사하지 않고 지정한 목적지로 옮기기 때문입니다. 대부분의 운영 DR 설계는 두 가지를 함께 씁니다. 이벤트 오버레이에는 페더레이션을, 최근 커맨드를 담는 롤링 DR 버퍼에는 Shovel을 사용합니다. 둘 다 복제가 아니므로 멱등 컨슈머와 퍼블리셔 측 아웃박스를 함께 갖추어야 합니다.

RabbitMQ 페더레이션을 재해 복구에 써도 되나요?

비동기 전달과, 범위가 정해진 유실 또는 중복 구간을 감수하는 DR 설계라면 적합합니다. 페더레이션은 대기 리전에 바인딩이 걸린 이벤트를 계속 공급하고, 링크 장애 중에는 업스트림 측에서 버퍼링하며, 링크를 자동으로 다시 연결합니다. 소비되지 않은 큐 백로그를 복사하지 않고, 동기 복제를 하지 않으며, 미러 역할도 하지 않습니다. 장애 순간 프라이머리가 갖고 있던 내용을 대기 클러스터가 그대로 보유해야 한다는 요구사항이라면 오픈소스 페더레이션으로는 충족할 수 없으며, 상용 웜 스탠바이 복제 기능이나 애플리케이션 수준의 아웃박스를 검토해야 합니다.

멀티 리전 RabbitMQ는 어떻게 설계하나요?

리전마다 독립된 클러스터를 운영하고, 하나의 파이프라인에서 동일한 정의(definitions)를 배포하십시오. 이벤트 익스체인지는 max-hops를 1로 두고 양방향으로 페더레이션하여 각 리전의 구독자가 로컬 사본을 소비하게 합니다. 작업 큐의 경우, 프라이머리에 허용 가능한 재처리 구간에 맞춘 메시지 TTL을 가진 DR 사본 큐를 추가하고, 이를 on-confirm Shovel로 페일오버 전까지 아무도 소비하지 않는 대기 큐로 옮기십시오. 커맨드 컨슈머는 한 번에 한 리전에서만 실행하고, 퍼블리셔는 전환 가능한 DNS 또는 로드 밸런서 항목을 거치게 하며, 페일오버는 자동 트리거가 아니라 런북에 따른 의도적인 절차로 만드십시오.

리전 장애가 나도 메시지가 살아남으려면 어떻게 해야 하나요?

메시지는 끊어진 링크의 어느 쪽에 있든 그쪽에 버퍼링되었다가 링크가 복구되면 전달되기 때문에 살아남습니다. 페더레이션은 message-ttl과 expires로 크기가 제한되는 업스트림 측 큐에 버퍼링하고, Shovel은 소스 큐에 버퍼링합니다. 장애 직전에 프라이머리가 확인(confirm)했지만 아직 전송되지 않은 메시지가 잔여 RPO이며, 이 공백은 퍼블리셔 측 아웃박스나 원천 시스템(system of record)에서의 재처리로만 메울 수 있습니다. 두 플러그인 모두 재연결 시 최소 한 번(at-least-once) 전달을 하고 페일오버는 의도적으로 DR 구간을 재처리하므로, 컨슈머는 반드시 멱등해야 합니다.

재해 복구에서 Shovel의 ack 모드가 정말 중요한가요?

Shovel이 메시지를 잃을 수 있는지를 결정하는 설정입니다. on-confirm에서는 목적지가 확인한 뒤에야 소스 메시지를 승인(ack)하므로, 장애가 나도 최악의 경우 중복이 생길 뿐입니다. on-publish에서는 목적지 확인 전에 소스 승인이 일어나므로, 그 순간 목적지에 장애가 나면 메시지가 유실됩니다. no-ack에서는 어떤 장애든 Shovel의 프리페치 버퍼에 있던 메시지가 모두 유실됩니다. DR 트래픽에는 항상 on-confirm을 사용해야 하며, 처리량이 걱정된다면 승인 모드를 약화시키지 말고 소스 프리페치 카운트를 높이십시오.

RabbitMQ 큐를 다른 리전에 동기 복제할 수 있나요?

오픈소스 페더레이션이나 Shovel 플러그인으로는 불가능합니다. 이들은 프라이머리의 확인 경로 뒤에서 동작하는 비동기 컨슈머입니다. RabbitMQ의 동기 복제는 클러스터 내부에서 쿼럼 큐가 갖는 특성으로, 확인을 보내기 전에 멤버 과반수에 커밋합니다. 이 동작을 얻으려고 단일 클러스터를 여러 리전에 걸쳐 늘리는 구성은 지원되지 않으며, WAN 지연 때문에 성능도 나쁩니다. 상용 Tanzu RabbitMQ 배포판은 클러스터 간 복제를 위한 웜 스탠바이 복제 기능을 제공합니다. 그 밖의 경우에는 리전 간 DR을 비동기로 간주하고, 그로 인해 생기는 구간을 애플리케이션이 견디도록 설계하십시오.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의