블로그RabbitMQ

RabbitMQ 쿼럼 큐란? 동작 원리와 여전히 클래식 큐가 나은 경우

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 14분 분량

RabbitMQ 쿼럼 큐란? 동작 원리와 여전히 클래식 큐가 나은 경우
On this page

짧게 답하면, 기본적으로 쿼럼 큐를 사용하고, 클래식 큐는 노드 장애 시 메시지를 잃어도 괜찮은, 정말로 일시적이고 생성·삭제가 잦은 작업에만 남겨 두십시오. 이는 꽤 오래전부터 올바른 지침이었지만, 규칙보다 그 근거가 더 중요합니다. 실제로 팀들을 곤란하게 만드는 것은 두 가지 예외와 마이그레이션 비용이기 때문입니다.

이 질문은 RabbitMQ 진단 평가에서 끊임없이 나오며, 대개 두 가지 형태입니다. 클래식 큐로 가득한 클러스터를 물려받은 운영자가 변환할 가치가 있는지 묻는 경우, 또는 새로 설계하는 팀이 근거 있는 기본값을 찾는 경우입니다.

중요한 기준으로 비교한 세 가지 큐 유형

RabbitMQ에는 알아 둘 만한 저장 방식이 세 가지 있는데, 세 번째는 사실 큐가 아닙니다. 그래서 잘못 쓰이는 경우가 많습니다.

RabbitMQ 클래식 큐, 쿼럼 큐, 스트림을 저장 방식, 읽기 동작, 복제, 전원 손실 시 보존 여부, 각각의 적합한 용도 기준으로 비교한 매트릭스

대부분의 설계를 결정짓는 것은 전원 손실 시 보존 여부 행입니다. 쿼럼 큐는 퍼블리셔에 확인을 보내기 전에 과반수 노드에서 각 메시지를 복제하고 디스크에 플러시합니다. 클래식 큐는 로컬에 영속화하지만 복제가 없으므로, 노드 장애가 나면 큐도 함께 사라집니다. 스트림은 복제하지만 확인 전에 fsync를 하지 않으므로 Kafka와 같은 위험을 안고 있습니다. 텔레메트리에는 문제없지만 결제에는 맞지 않습니다.

사람들이 잘못 읽는 행은 읽기입니다. 클래식 큐와 쿼럼 큐는 파괴적 읽기입니다. 컨슈머가 메시지를 가져가면 메시지는 사라집니다. 스트림은 비파괴적 읽기입니다. 메시지가 남아 있고, 여러 컨슈머가 각자의 오프셋에서 같은 이력을 독립적으로 읽을 수 있습니다. 큐에서 메시지를 다시 읽고 싶어진다면, 필요한 것은 스트림입니다.

쿼럼 큐가 fsync를 감당할 수 있는 이유

쿼럼 큐에 대한 흔한 반론은 메시지마다 디스크에 플러시하면 느릴 수밖에 없다는 것입니다. 그렇지 않으며, 그 이유는 이해해 둘 만한 설계상의 결정에 있습니다. 이는 RabbitMQ와 Kafka 사이의 가장 뚜렷한 기술적 차이이기도 합니다.

퍼블리셔가 쿼럼 큐의 리더 레플리카에 쓰고, 리더가 여러 큐를 아우르는 공유 WAL에 추가한 뒤 두 팔로워 레플리카로 복제하는 과정을 보여 주는 다이어그램. RabbitMQ의 분산된 fsync 비용과 Kafka의 파티션 단위 fsync를 대비합니다.

쿼럼 큐는 WAL(write-ahead log)을 공유합니다. 한 번의 디스크 플러시로 여러 큐에 들어갈 메시지를 함께 처리하므로, 비용을 큐마다 따로 치르는 대신 브로커 전체에 걸쳐 분산합니다. 덕분에 많은 수의 큐, fsync를 동반한 복제, 실질적인 처리량이라는 세 가지 특성을 동시에 갖출 수 있습니다. 보통은 셋 중 둘만 고를 수 있는 특성들입니다.

Kafka는 반대로 동작합니다. fsync가 파티션 단위로 일어나기 때문에 비용이 커서, Kafka는 기본적으로 fsync를 권장하지 않고 복제에만 의존합니다. 결함이라기보다는 다른 방향의 선택이지만, 확인 응답을 받은 Kafka 메시지가 디스크가 아니라 여러 브로커의 페이지 캐시에 있다는 뜻이기도 합니다.

좀 더 미묘한 두 번째 이점도 있습니다. 쿼럼 큐의 Raft는 메시지 내용뿐 아니라 전달 상태까지 다룹니다. 어떤 메시지가 어떤 컨슈머에 넘겨졌는지, 그 컨슈머가 크레딧을 얼마나 보유하고 있는지까지 포함됩니다. 리더 페일오버 후 새 리더는 배치 전체를 재전달하는 대신 그 상태를 그대로 이어받아 재개합니다. 메시지별 TTL, 우선순위, 지연, 데드레터 라우팅이 가능한 것도 바로 이 메커니즘 덕분입니다.

쿼럼 큐가 내구성과 페일오버를 제공하는 방식

앞서 설명한 fsync 비용 분산 메커니즘은 쿼럼 큐가 기본값으로 쓸 만큼 빠른 이유를 설명합니다. 하지만 처리 도중 노드가 죽었을 때 실제로 어떻게 살아남는지는 설명하지 않습니다. 운영 환경에서 쿼럼 큐에 의존하기 전에 이해해 두어야 할 부분이 바로 이것입니다.

쿼럼 큐는 하나의 Raft 그룹입니다. 노드당 하나씩 홀수 개의 멤버로 구성되며, 어느 시점이든 멤버 하나가 리더로 선출됩니다. 리더는 모든 퍼블리시와 컨슈머 전달을 처리하고, 팔로워는 리더의 로그를 복제하며 선거에 투표합니다. 노드가 다운되거나 네트워크에서 끊겨 리더가 응답하지 않으면, 팔로워는 하트비트 누락으로 이를 감지합니다. 두 팔로워가 동시에 선거를 시작하지 않도록 무작위 선거 타임아웃만큼 기다린 뒤, 가장 먼저 과반수 표를 얻은 팔로워가 새 임기(term)의 리더가 됩니다. 운영자의 조치는 필요 없으며, 클라이언트 입장에서도 재연결 외에는 다운타임이 없습니다.

퍼블리셔 확인이 실제로 의미하는 바는 이렇습니다. RabbitMQ는 메시지가 리더뿐 아니라 그룹 멤버의 과반수에 기록된 후에야 확인을 돌려보냅니다. 멤버가 3개인 큐라면 3개 중 2개입니다. 그 시점에서 쓰기는 내구성을 확보한 상태이며, 세 번째 레플리카를 가진 노드가 영영 돌아오지 않더라도 잃는 것은 레플리카 하나일 뿐 메시지가 아닙니다.

이 과반수 요건은 장애 개수별 가용성도 결정합니다. 멤버가 3개일 때 1개를 잃으면 나머지 2개가 여전히 과반수이므로, 큐는 계속 쓰기를 받으며 누락된 노드가 돌아와 Raft 로그로 따라잡을 때까지 레플리카 하나가 빠진 상태로 동작합니다. 2개를 잃으면 살아남은 노드 하나만으로는 과반수를 만들 수 없으므로, 큐는 쓰기를 완전히 중단합니다. 로그가 불완전한 멤버가 견제 없이 유일한 기준이 되는 위험을 피하기 위한 의도된 설계입니다. 클러스터 수준의 pause_minority 모드와 같은 논리를 큐 단위로 적용한 것입니다.

짝수 개의 멤버가 단순히 불필요한 정도가 아니라 생각보다 더 나쁜 이유도 여기에 있습니다. 멤버가 4개인 큐도 멤버 1개를 잃는 것까지만 견딥니다. 2개를 잃으면 4개 중 2개가 남는데, 이는 과반수가 아니기 때문입니다. Raft 오버헤드와 메모리 비용이 드는 레플리카를 하나 더 추가했는데도 장애 허용 수준은 3개일 때와 똑같습니다. 그러므로 멤버 수는 항상 홀수로 맞춰야 합니다. 레플리카 배치도 클러스터 노드 배치와 같은 논리를 따릅니다. 노드당 멤버 하나씩, 서로 다른 호스트나 가용 영역에 분산해 단일 인프라 장애로 같은 큐의 멤버 2개가 동시에 사라지지 않도록 하십시오.

실전 예시: 결제 처리를 위한 쿼럼 큐

결제 처리는 위의 내구성 모델이 상정한 바로 그 워크로드입니다. 모든 메시지가 중요하고, 계좌 내에서는 순서가 중요하며, 조용한 중복은 느린 재시도보다 나쁩니다. 이 경우에 각 요소가 어떻게 맞물리는지 살펴보겠습니다.

  • 토폴로지. 가용 영역마다 노드를 하나씩 두고 멤버가 3개인 쿼럼 큐를 구성하면, 별도의 예외 처리 없이 내구성 요건과 가용 영역 전체 장애를 모두 충족합니다. 이는 고가용성, 재해 복구, 클러스터 사이징 가이드에서 다루는 3개 AZ 패턴과 같습니다. 노드 하나를 아끼려고 단일 AZ로 줄이지 말아야 할 이유가 있는 경우가 바로 결제 워크로드입니다.
  • 파이어 앤 포겟이 아닌 퍼블리셔 확인. 결제를 시작하는 서비스는 호출자에게 결제가 접수되었다고 알리기 전에 브로커의 퍼블리시 확인을 기다립니다. 앞서 설명한 과반수 쓰기 보장에 따라, 이 확인은 다운스트림에 알리기 전에 결제 지시가 3개 노드 중 최소 2개에 내구성 있게 저장되었다는 뜻입니다.
  • 데드레터를 동반한 제한된 재시도. 큐에 x-delivery-limit 인수를 설정해 컨슈머 처리에 계속 실패하는 메시지가 무한 반복되지 않게 하십시오. 전달 시도 횟수를 모두 소진하면 메시지를 버리지 말고 전용 데드레터 큐로 라우팅하십시오. 결제용 DLQ는 쓰레기통이 아니라 알림 조건으로 다뤄야 합니다. 여기에 들어온 메시지는 처음 여러 번의 시도에서 깔끔하게 완료되지 못한 결제를 의미하므로, 사람이나 자동 대사(reconciliation) 작업이 반드시 확인해야 합니다.
  • 결제 ID를 키로 하는 멱등 컨슈머. 쿼럼 큐는 클래식 큐와 마찬가지로 최소 1회(at-least-once) 전달을 보장합니다. 위의 전달 한도 및 DLX와 결합하면 컨슈머가 같은 결제 메시지를 두 번 이상 받을 수 있습니다. 컨슈머가 트랜잭션을 다시 적용하기 전에 이미 처리 완료로 기록된 결제 ID인지 확인(또는 해당 ID 기준으로 upsert)하도록 설계해, 재전달이 중복 청구나 중복 원장 기록이 아니라 아무 영향 없는 작업이 되도록 하십시오.
  • 순서 있는 정산을 위한 단일 활성 컨슈머. 차변과 대변을 순서대로 적용하는 것처럼 계좌 내 정산 순서가 중요할 때는 큐에 x-single-active-consumer 인수를 설정해 한 번에 하나의 컨슈머 인스턴스만 처리하도록 하고, 활성 컨슈머가 죽으면 백업 컨슈머로 자동 페일오버되게 하십시오. 처리량을 일부 포기하는 대신 큐 단위의 엄격한 순서를 얻는 방식이며, 자금 이동에는 대개 올바른 선택입니다.
  • 모니터링 항목. 결제 큐 자체의 큐 깊이와 컨슈머 랙, DLQ 깊이(0에 가까워야 하며 지속적으로 늘어나면 장애입니다), 컨슈머별 재전달 횟수(증가 추세라면 브로커 상태가 아니라 컨슈머 버그를 의심해야 합니다), 그리고 3개 멤버 간 레플리카 동기화 상태를 모니터링해 뒤처진 레플리카가 마지막 하나가 되기 전에 발견하십시오. 이 단일 큐를 넘어서는 패턴은 마이크로서비스를 위한 익스체인지, 큐, 바인딩에서 같은 내구성 보장이 더 넓은 이벤트 기반 설계 전반에 어떻게 결합되는지 확인하실 수 있습니다. AceMQ가 결제 수준의 메시징 설계 범위를 어떻게 정하는지 전체 그림은 복원력 및 결제 최적화를 참고하십시오.

변환할 때 포기해야 하는 것

대부분의 가이드는 "쿼럼 큐를 쓰라"에서 끝납니다. 정말 유용한 부분은 실제로 사람들을 곤란하게 만드는 두 가지입니다.

  • 큐당 메모리 사용량이 더 많습니다. 쿼럼 큐는 Raft 상태를 유지하므로 클래식 큐보다 메모리를 더 많이 사용합니다. 세션별 또는 요청별로 큐를 만드는 흔한 패턴처럼 작고 수명이 짧은 큐가 수천 개 있는 설계라면, 이를 한꺼번에 변환할 경우 이전에는 없던 메모리 압박이 클러스터에 생길 수 있습니다. 좋은 의도로 시작한 마이그레이션이 장애를 일으키는 가장 흔한 경로가 바로 이것입니다.
  • 우선순위가 같은 방식으로 동작하지 않습니다. 클래식 큐는 x-max-priority 인수로 우선순위를 구현합니다. 쿼럼 큐는 우선순위를 다르게 처리하며 동일한 메커니즘을 제공하지 않으므로, 클래식 큐의 우선순위 시맨틱에 의존하는 큐는 단순히 다시 선언할 것이 아니라 설계를 재검토해야 합니다. 이런 큐는 마이그레이션 도중이 아니라 계획 단계에서 찾아내십시오.

알아 두어야 할 확실한 한계도 있습니다. 쿼럼 큐는 샤딩되지 않습니다. 복제와 fsync를 수행하면서 초당 약 80,000건이 상한이며, 큐 하나를 여러 노드에 나누어 더 빠르게 만들 수는 없습니다. 여러 큐에 걸친 총처리량은 문제없이 확장되지만, 매우 트래픽이 몰리는 단일 흐름에는 애플리케이션 수준의 샤딩, 즉 부하를 분산하는 라우팅 키로 N개의 큐에 퍼블리시하는 방식이 필요합니다. 이 제약과 Kafka 파티셔닝과의 비교는 RabbitMQ vs Kafka에서 다룹니다.

선택 기준과 변환에 실제로 드는 비용

큐마다 네 가지 질문으로 결정할 수 있습니다.

메시지 유실 허용 여부, 메시지별 기능, 생성·삭제 빈도, 재생 필요성에 관한 네 가지 질문을 쿼럼 큐, 클래식 큐, 스트림에 대응시킨 결정 차트. 변환은 제자리에서 할 수 없다는 경고 포함

차트의 경고가 운영 현실입니다. 큐 유형은 선언 시점에 고정됩니다. 제자리 변환은 없습니다. 마이그레이션하려면 새 쿼럼 큐를 선언하고, 퍼블리셔와 컨슈머가 새 큐를 바라보게 한 다음, 클래식 큐를 비우고, 비워지면 삭제해야 합니다. 운영 중인 시스템에서는 설정 수정이 아니라 드레인 시간을 확보한 조율된 변경 작업입니다.

효과적인 순서는 이렇습니다. 잃어서는 안 되는 작업을 처리하는 큐부터 소규모 배치로 변환하면서 메모리를 지켜보십시오. 정말로 일시적인 큐는 클래식으로 남겨 두십시오. 한 번에 전부 변환하고 싶은 유혹을 참으십시오. 안전성 개선을 장애로 바꾸는 것이 바로 그런 변경입니다.

대규모 환경 전반의 변환을 검토 중이고, 메모리와 우선순위 함정을 작업 도중이 아니라 시작 전에 찾아내고 싶다면 RabbitMQ 헬스 체크에서 일반적으로 다루는 범위입니다. 또는 범위 산정에 대해 AceMQ에 문의하십시오.

이런 선택의 배경이 된 믿음 중 상당수는 더 이상 유효하지 않습니다. RabbitMQ에 대한 오해와 진실을 확인해 보십시오.

큐 유형은 RabbitMQ 클러스터링 및 사이징 가이드에서 다루는 일곱 가지 결정 중 두 번째이며, 잘못된 선택은 안정성 가이드의 열 가지 패턴 중 네 번째이기도 합니다.

자주 묻는 질문

클래식 큐와 쿼럼 큐의 차이는 무엇인가요?

클래식 큐는 메시지 단위 영속화를 지원하며 하나의 노드에만 존재합니다. 그 노드에 장애가 나면 복구될 때까지 큐와 그 내용을 사용할 수 없습니다. 쿼럼 큐는 Raft 합의를 이용해 홀수 개의 노드에 복제되며, 퍼블리셔에 확인을 보내기 전에 과반수 레플리카에서 각 메시지를 디스크에 플러시합니다. 클래식 큐는 로컬에 있고 생성·삭제가 빠르며, 쿼럼 큐는 복제되어 안전하므로 잃어서는 안 되는 메시지에 권장되는 기본값입니다.

쿼럼 큐는 클래식 큐보다 느린가요?

약간 느리지만, 대부분의 예상보다 차이가 작습니다. 단일 쿼럼 큐는 복제와 fsync를 수행하면서도 초당 약 80,000건의 메시지를 처리합니다. 클래식 큐는 둘 다 하지 않으므로 다소 더 빠릅니다. 쿼럼 큐가 빠른 이유는 WAL을 공유하기 때문입니다. 한 번의 fsync로 여러 큐를 처리하므로 비용이 큐마다 따로 드는 것이 아니라 분산됩니다.

그래도 클래식 큐를 써야 하는 경우는 언제인가요?

작업이 정말로 일시적이고 생성·삭제가 잦으며, 노드 장애로 메시지를 잃어도 괜찮은 경우입니다. 캐시 무효화 브로드캐스트, 일회성 알림, 어차피 다시 생성되는 임시 작업 등이 해당합니다. 클래식 큐는 큐당 메모리 사용량도 적기 때문에, 작고 수명이 짧은 큐를 매우 많이 운영한다면 이 점도 중요합니다.

클래식 큐를 그대로 쿼럼 큐로 변환할 수 있나요?

아니요. 큐 유형은 선언 시점에 고정되므로, 변환하려면 새 쿼럼 큐를 선언하고 퍼블리셔와 컨슈머를 옮긴 다음 클래식 큐를 비우고 삭제해야 합니다. 드레인 시간을 확보한 마이그레이션으로 계획하십시오. 수천 개의 큐를 한 번에 변환하는 것이 가장 실패하기 쉬운 마이그레이션입니다.

쿼럼 큐에서도 메시지 우선순위를 지원하나요?

같은 방식으로는 지원하지 않습니다. 클래식 큐는 x-max-priority 인수로 우선순위를 지원하지만, 쿼럼 큐는 우선순위를 다르게 처리하며 동일한 메커니즘을 제공하지 않습니다. 따라서 클래식 큐의 우선순위 시맨틱에 의존하는 큐는 단순히 변환할 것이 아니라 설계를 다시 검토해야 합니다. 이것과 큐당 메모리 사용량 증가가 마이그레이션 도중 팀들이 자주 겪는 두 가지 함정입니다.

쿼럼 큐에는 노드가 몇 개 필요한가요?

홀수 개가 필요하며, 실무상 기준은 3개입니다. 3개면 과반수를 유지하면서 노드 1개의 장애를 견딜 수 있습니다. 대규모 배포에서는 5개가 일반적이며 노드 2개의 장애를 견딥니다. 5개를 넘으면 안전성은 크게 늘지 않고 합의 오버헤드만 커지므로, 더 큰 클러스터는 대개 쿼럼 요건이 아닌 다른 이유로 구성됩니다.

스트림이 쿼럼 큐를 대체하나요?

아니요. 둘은 해결하는 문제가 다릅니다. 스트림은 비파괴적 읽기를 하는 추가 전용 로그이므로, 소비해도 메시지가 사라지지 않고 여러 컨슈머가 같은 이력을 각자 독립적으로 읽을 수 있습니다. 쿼럼 큐는 파괴적 읽기와 메시지 단위 확인 응답을 사용하는 작업 큐입니다. 또한 스트림은 확인을 보내기 전에 fsync를 하지 않으므로 내구성 보장이 더 약합니다.

쿼럼 큐는 노드 장애에도 살아남을 수 있나요?

네, 그것이 쿼럼 큐의 핵심 목적입니다. 쿼럼 큐는 퍼블리시를 확인하기 전에 Raft 합의를 이용해 각 메시지를 멤버의 과반수에 복제합니다. 따라서 멤버가 3개인 큐는 노드 1개를 잃어도 계속 동작하며, 두 번째 노드까지 잃어 3개 중 2개에 도달할 수 없게 될 때만 쓰기를 받지 않습니다. 단일 인프라 장애로 한 번에 2개 이상의 레플리카가 사라지지 않도록, 멤버는 노드당 하나씩 서로 다른 호스트나 가용 영역에 배치해야 합니다.

쿼럼 큐로 결제 처리 수준의 처리량을 감당할 수 있나요?

단일 쿼럼 큐는 복제와 fsync를 수행하면서 초당 약 80,000건이 상한이며, 이는 대부분의 결제 워크로드가 큐 하나에 요구하는 수준을 크게 웃돕니다. 특정 흐름에 그보다 높은 처리량이 필요하다면, 쿼럼 큐는 내부적으로 샤딩되지 않으므로 큐 하나를 더 확장하려 하기보다 라우팅 키로 여러 쿼럼 큐에 샤딩하십시오. 퍼블리셔 확인(publisher confirms), `x-delivery-limit`, 데드레터링, 멱등 컨슈머를 함께 적용하면 결제에서 처리량이 병목이 되는 경우는 드뭅니다. 문제는 재시도 상황에서의 정확성입니다.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의