블로그RabbitMQ

RabbitMQ prefetch count: 고처리량 실시간 클러스터에서 올바른 prefetch 설정이 중요한 이유

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 16분 분량

RabbitMQ prefetch count: 고처리량 실시간 클러스터에서 올바른 prefetch 설정이 중요한 이유
On this page

RabbitMQ 컨슈머 성능을 좌우하는 모든 튜닝 파라미터 중에서 prefetch count는 가장 큰 차이를 만들면서도, 운영 환경에서 가장 일관되게 잘못 설정되는 파라미터입니다. 처리량이 한계에 막혀 있거나, 컨슈머 사용률이 60%에 머물러 있거나, 컨슈머 파드의 메모리가 급증하거나, 충분히 감당해야 할 부하에서 클러스터가 흐름 제어(flow control)에 들어가는 엔터프라이즈 RabbitMQ 현장을 저희는 수없이 봐 왔습니다. 그리고 그중 적지 않은 비율이 prefetch가 0으로 설정되어 있거나, 기본값 그대로이거나, 다른 워크로드를 위해 쓰인 튜토리얼에서 복사해 붙여 넣은 값이 근본 원인이었습니다.

prefetch는 보기에는 단순합니다. 정수 하나일 뿐입니다. 하지만 이 값은 컨슈머 처리량과 컨슈머 메모리 압박, 지연 시간과 확인 응답(ack) 오버헤드, 그리고 버스트를 흡수할 수 있는 컨슈머와 그렇지 못한 컨슈머 사이의 근본적인 트레이드오프를 좌우합니다. 트레이딩 플랫폼, IoT 수집 파이프라인, 결제 처리 시스템처럼 초당 메시지 수를 세고 SLA를 밀리초 단위로 측정하는 실시간 고처리량 RabbitMQ 클러스터에서 prefetch를 올바르게 설정하는 것은 선택 사항이 아닙니다. 확장되는 클러스터와 확장되지 않는 클러스터를 가르는 것이 바로 이 값입니다.

prefetch count가 실제로 하는 일

프로토콜 수준에서 prefetch count는 AMQP 0-9-1의 basic.qos 파라미터입니다. 이 값은 브로커에게 '확인 응답되지 않은 메시지를 한 번에 N개 넘게 보내지 말라'고 알립니다. 컨슈머가 연결해 큐를 구독하면, 브로커는 prefetch 한도까지 메시지를 컨슈머에게 푸시하기 시작합니다. 컨슈머가 메시지를 확인 응답하면 브로커는 그만큼 새 메시지를 보냅니다. 따라서 컨슈머의 처리 중 버퍼는 어느 순간에도 최대 prefetch_count개의 메시지만 담습니다.

실무에서는 세 가지 prefetch 모드가 있습니다.

  • prefetch = 0(무제한). 브로커가 가능한 한 빠르게 메시지를 푸시하고, 컨슈머는 브로커가 보내는 모든 것을 버퍼링합니다. 빨라 보이지만 어느 순간 무너집니다. 컨슈머의 메모리가 폭증하고, 확인 응답이 지연되며, 부하가 걸리면 시스템을 예측할 수 없게 됩니다.
  • prefetch = 1. 브로커가 메시지 하나를 보내고 ack를 기다린 뒤 다음 메시지를 보냅니다. 대부분의 튜토리얼이 보여 주는 방식입니다. 모든 메시지가 왕복 지연 비용을 고스란히 치르기 때문에 고처리량 워크로드에서는 치명적으로 느립니다.
  • prefetch = N(적정값). 컨슈머가 N개의 메시지를 처리 중인 상태로 다루고, 브로커는 꾸준히 새 메시지를 보내 컨슈머보다 앞서 있으며, 처리량은 네트워크 왕복 시간이 아니라 컨슈머의 처리 속도에 의해 결정됩니다.

목표는 언제나 세 번째 모드입니다. 문제는 N을 얼마로 하느냐이며, 그 답은 대부분의 팀이 생각하는 것보다 워크로드에 크게 좌우됩니다.

전문가 인사이트: 고처리량 워크로드의 출발점

  • prefetch = 1. 처리량을 죽입니다. 컨슈머를 결코 포화시킬 수 없습니다. 언제나 이것부터 고치십시오.
  • prefetch = 0(무제한). 테스트 환경에서는 잘 동작합니다. 컨슈머가 퍼블리셔를 따라가지 못하는 첫 순간 운영 장애가 됩니다.
  • prefetch = 10,000. 누군가 '처리량에는 높을수록 좋다'는 말을 문자 그대로 받아들인 경우입니다. 컨슈머가 10,000개의 메시지를 버퍼링하고, 확인 응답이 지연되며, 메모리가 늘어나고, 부하가 걸리면 시스템 전체를 예측할 수 없게 됩니다.

"prefetch count가 0이라면 무제한을 쓰고 있다는 뜻입니다. 그것도 괜찮을 수 있지만, 처리량이 매우 크다면 100이나 200 정도로 설정할 것을 권합니다."

— Felipe Gutierrez, AceMQ 시니어 엔지니어(대규모 엔터프라이즈 RabbitMQ 배포에서 컨슈머 확인 응답 실패를 진단한 AceMQ 프로젝트 중)

이것이 고처리량 워크로드에 대한 저희의 표준 출발점이며, 분명한 엔지니어링 근거가 있습니다. 100~200 범위의 prefetch는 컨슈머를 포화 상태로 유지할 만큼 충분한 파이프라인 깊이를 브로커에 제공하므로 컨슈머가 다음 메시지를 기다리는 일이 없고, 그러면서도 아직 처리하지 않은 수천 개의 메시지로 컨슈머 메모리를 넘치게 하지 않습니다. 대부분의 실시간 워크로드에 가장 적합한 지점이며, 저희는 여기서 시작해 지표가 실제로 알려 주는 바에 따라 값을 올리거나 내립니다.

자주 보는 순서대로 정리한 잘못된 설정은 다음과 같습니다.

대규모 환경에서 prefetch가 그토록 중요한 이유

컨슈머 용량 활용률을 결정합니다

RabbitMQ는 관리 UI에서 consumer capacity 지표를 제공합니다. 이 지표는 컨슈머가 메시지를 기다리는 시간 대비 실제로 메시지를 처리하는 시간의 비율을 나타냅니다. 잘 튜닝된 컨슈머는 100% capacity로 동작하며, 항상 일하고 있습니다. prefetch가 너무 낮은 컨슈머는 다음 메시지를 기다리며 네트워크에서 상당한 시간을 보내기 때문에 capacity가 40%, 60%, 80%에 머뭅니다. 그 유휴 시간은 비용을 지불했지만 얻지 못하고 있는 처리량입니다.

Felipe는 이에 대해 분명한 운영 원칙을 갖고 있습니다. consumer capacity가 100% 아래로 떨어지면 컨슈머가 메시지 흐름을 따라가지 못하는 것이므로 개발자에게 알려야 한다는 것입니다. prefetch가 잘못되었거나, 컨슈머 처리가 너무 느리거나, 컨슈머 인스턴스가 더 필요한 것입니다. 어느 경우든 가장 먼저 확인할 것은 prefetch입니다.

흐름 제어 동작을 좌우합니다

RabbitMQ에는 컨슈머가 따라가지 못할 때 퍼블리셔를 조절하는 흐름 제어 메커니즘이 있습니다. 브로커에 무한정 백로그가 쌓이는 것을 막는 안전 밸브이지만, 동시에 상류 어딘가가 어긋나 있다는 신호이기도 합니다. prefetch가 올바르게 튜닝되어 있으면 컨슈머가 회선 속도로 큐를 비우므로 흐름 제어가 거의 작동하지 않습니다. prefetch가 너무 낮으면 부하가 걸릴 때 큐가 쌓이고, 브로커가 흐름 제어에 들어가며, 퍼블리셔가 차단되고, 시스템 전체의 지연 특성이 바뀝니다.

높은 처리량에서는 '모든 것이 정상'과 '프로듀서가 차단되는 상태' 사이의 거리가 잘못 고른 prefetch 값 하나일 수 있습니다.

쿼럼 큐의 Raft 동작과 상호작용합니다

2026년 현재 대부분의 엔터프라이즈 RabbitMQ 배포가 사용하는 쿼럼 큐에서는 prefetch의 영향이 훨씬 더 커집니다. 아직 쿼럼 큐 마이그레이션을 마치지 않았다면 지금이 적기입니다. 쿼럼 큐는 Raft 합의를 사용하므로, 모든 확인 응답은 과반수 노드에 걸친 Raft 로그 쓰기입니다. 쿼럼 큐에서 prefetch가 1이면 메시지마다 Raft 왕복이 강제되어 처리량이 처참하게 떨어집니다. prefetch가 100이나 200이면 브로커가 확인 응답 커밋을 Raft 로그에 배치로 반영할 수 있어 효율이 극적으로 높아집니다.

쿼럼 큐에서 prefetch 튜닝을 한 차례 거친 뒤 지속 처리량이 두세 배로 늘어난 워크로드를 저희는 여러 번 봤습니다. 계산은 단순합니다. 메시지당 Raft 커밋이 적을수록 초당 처리하는 메시지는 많아집니다.

global prefetch vs 개별 prefetch: 지금도 중요한 역사적 배경

RabbitMQ 3.x에는 클라이언트 라이브러리가 설정할 수 있는 두 가지 prefetch 모드, 즉 global과 개별(individual)이 있었습니다. global prefetch는 채널의 모든 컨슈머에 걸쳐 적용되었습니다. global prefetch를 1,000으로 설정하고 그 채널에 컨슈머가 5개 있다면, 각 컨슈머는 사실상 200을 받았습니다. 개별 prefetch는 컨슈머 단위로 적용되었으므로, prefetch 1,000은 각 컨슈머가 1,000개를 처리 중으로 둘 수 있다는 의미였습니다.

RabbitMQ 4.x에서는 prefetch의 시맨틱이 명확하고 단순해졌지만, 근본적인 트레이드오프는 여전히 남아 있습니다. 아키텍처상 하나의 채널에 여러 컨슈머를 띄운다면, 클라이언트 라이브러리가 prefetch를 컨슈머 단위로 설정하는지 채널 단위로 설정하는지 알아야 합니다. 실제 처리 중 메시지 수가 근본적으로 달라지기 때문입니다.

실무 권고는 이렇습니다. 고처리량 운영 시스템에서는 컨슈머 단위 prefetch 시맨틱과 채널당 컨슈머 하나를 선호하십시오. 그러면 컨슈머 인스턴스를 추가할 때 선형적으로 확장되는, 예측 가능한 컨슈머별 메모리 및 처리량 동작을 얻을 수 있습니다. 또한 각 컨슈머의 성능 범위가 독립적이므로 용량 문제를 디버깅하기도 훨씬 쉬워집니다.

워크로드에 맞게 prefetch를 실제로 튜닝하는 방법

모든 경우에 맞는 prefetch 값은 없습니다. 하지만 추측보다 빠르게 특정 워크로드에 맞는 값에 도달하게 해 주는 방법론은 있습니다.

1단계: 100에서 시작합니다

아직 측정하지 않은 고처리량 RabbitMQ 워크로드라면 prefetch 100에서 시작하십시오. 이 값이 치명적으로 틀리는 경우는 거의 없습니다. 브로커에서 컨슈머까지의 경로를 파이프라이닝하기에 충분히 높고, 컨슈머 메모리 압박을 제한할 만큼 충분히 낮으며, 튜닝의 기준이 되는 측정 가능한 베이스라인을 제공합니다.

2단계: 대표적인 부하에서 consumer capacity를 측정합니다

  • consumer capacity가 100% 미만이면 prefetch가 너무 낮을 수 있습니다. 컨슈머가 메시지를 기다리고 있는 것입니다.
  • 컨슈머 메모리가 늘어나고 확인 응답이 지연된다면 prefetch가 너무 높을 수 있습니다. 컨슈머가 처리할 수 있는 것보다 많이 버퍼링하고 있는 것입니다.
  • capacity가 100%이고 메모리가 안정적이라면 prefetch가 올바른 것입니다. 그대로 두십시오.

대표적인 부하를 큐에 흘려 보내면서 RabbitMQ 관리 UI의 consumer capacity 지표를 관찰하십시오. 컨슈머 메모리 사용량도 함께 살펴봅니다. 클러스터 수준의 가시성은 Kubernetes 환경의 RabbitMQ 모니터링 가이드를 참고하십시오. 확인할 조건은 세 가지입니다.

3단계: 의미 있는 단위로 조정합니다

값을 올려야 한다면 200, 그다음 500을 시도하십시오. 100에서 10,000으로 바로 뛰지 마십시오. prefetch와 처리량의 관계는 선형이 아닙니다. 값을 두 배로 늘릴 때마다 처음에는 측정 가능한 처리량 향상이 나타나다가, 이후 수확 체감이 일어나고, 결국 컨슈머가 자체 버퍼를 감당하기 시작하면 오히려 역효과가 납니다.

4단계: 메시지 크기를 고려합니다

1KB 메시지에 prefetch 200이면 컨슈머당 처리 중 메모리는 200KB입니다. 1MB 메시지에 prefetch 200이면 컨슈머당 200MB입니다. 메시지가 크다면, 그리고 실시간 파이프라인에서는 큰 경우가 많은데, prefetch는 작은 메시지의 경우보다 낮아야 합니다. 최대 처리 중 메모리를 prefetch_count × p99_message_size로 계산하고 그에 맞게 컨슈머 메모리를 산정하십시오. 메시지 크기가 제각각인 환경에서는 이 계산을 잊지 마십시오.

5단계: 장애 경계에서 테스트합니다

올바른 prefetch 값은 정상 상태의 부하에서도, 복구 시나리오에서도 잘 동작하는 값입니다. 큐에 메시지가 쌓여 있는 상태에서 컨슈머가 다운되는 상황을 시뮬레이션하십시오. 대체 컨슈머가 올라왔을 때 예상 속도로 백로그를 깔끔하게 비웁니까? 아니면 prefetch 설정 때문에 메시지를 충분히 받지 못하거나 넘치게 받습니까? 정상 상태에서는 괜찮아 보이는 prefetch 값도 페일오버 중에는 오동작할 수 있으며, 그때가 바로 올바르게 동작해야 하는 순간입니다.

메시지 크기의 함정: prefetch만으로는 부족한 이유

고처리량 RabbitMQ 배포에서 가장 흔히 보는 운영상의 함정 중 하나는, 실제 문제는 메시지 크기인데 prefetch를 유일한 조절 장치로 여기는 것입니다. RabbitMQ는 메시지 브로커이지 데이터베이스가 아니며, 파일 전송 시스템도 아닙니다.

운영자가 처리량이 예상치의 일부에서 '이유 없이' 막힌다고 호소했는데, 조사해 보니 애플리케이션이 수 메가바이트짜리 PDF, 동영상 클립, 직렬화된 데이터베이스 스냅샷을 메시지 페이로드로 보내고 있던 운영 RabbitMQ 배포를 저희는 여러 번 봤습니다. prefetch를 아무리 튜닝해도 이 문제는 해결되지 않습니다. 브로커는 요청받은 일을 하고 있을 뿐이며, 해서는 안 되는 일을 요청받았을 뿐입니다.

아키텍처 원칙은 RabbitMQ 메시지를 작게 유지하라는 것입니다. RabbitMQ 아키텍처 리뷰를 통해 페이로드 크기가 처리량을 해치는 지점을 찾을 수 있습니다. 큰 페이로드를 시스템에 흘려야 한다면 오브젝트 스토리지에 기록하고 RabbitMQ로는 참조만 보내십시오. prefetch 설정이 같더라도 4KB 메시지는 4MB 메시지보다 클러스터를 몇 자릿수 빠르게 통과합니다. 그 이유는 다음과 같습니다.

  • 작은 메시지는 메시지당 네트워크 대역폭을 덜 소비합니다.
  • 작은 메시지는 브로커와 컨슈머 버퍼 모두에서 메모리를 덜 소비합니다.
  • 작은 메시지는 쿼럼 큐에서 디스크에 더 빨리 영속화됩니다.
  • 작은 메시지는 Raft 팔로워 간에 더 빨리 복제됩니다.

엄밀히 말해 이것은 prefetch 문제가 아닙니다. 하지만 고처리량 실시간 시스템의 prefetch 튜닝을 논의할 때는 반드시 메시지 크기 점검을 포함해야 합니다. 4MB 메시지 파이프라인에서 prefetch를 튜닝하는 것은 엉뚱한 계층을 최적화하는 일이기 때문입니다.

prefetch를 다시 검토해야 할 때

prefetch는 한 번 설정하고 잊어버리는 파라미터가 아닙니다. 다음과 같은 경우 prefetch 설정을 다시 검토하십시오.

  • 처리량 요구 사항이 바뀔 때. 메시지량이 10배로 늘면, 이전 규모에서 괜찮았던 prefetch가 새 규모에서는 틀린 값이 되는 경우가 많습니다.
  • 메시지 크기 분포가 달라질 때. 더 큰 메시지를 보내는 새 애플리케이션 기능은 메모리 계산을 바꿉니다.
  • 쿼럼 큐로 마이그레이션할 때. Raft 커밋 오버헤드가 최적 prefetch 값을 바꾸며, 대개 더 높은 쪽으로 바뀝니다.
  • 컨슈머 아키텍처를 바꿀 때. 한 채널의 N개 컨슈머에서 각자 채널을 가진 N개 컨슈머로 바꾸면 prefetch 계산이 완전히 달라집니다.
  • 부하 상황에서 consumer capacity가 100% 미만일 때. prefetch, 컨슈머, 브로커로 이어지는 파이프라인 어딘가가 어긋나 있다는 가장 명확한 신호입니다.
  • 흐름 제어가 작동해서는 안 될 부하에서 작동할 때. 흐름 제어는 컨슈머가 따라가지 못하고 있다는 브로커의 신호입니다. prefetch는 가장 먼저 살펴봐야 할 곳 중 하나입니다.

실무 요약

prefetch는 RabbitMQ에서 컨슈머 측 튜닝 효과가 가장 큰 파라미터입니다. 고처리량 환경에서 잘못 설정하면 원인 모를 용량 한계, 예측할 수 없는 메모리 동작, 일어나서는 안 될 부하에서의 흐름 제어 이벤트, 그리고 특정 원인을 짚지 못한 채 'RabbitMQ가 느린 것 같다'는 지원 티켓으로 나타납니다.

올바르게 설정하면 아무 일도 일어나지 않습니다. 바로 그것이 원하는 상태입니다. 컨슈머는 100% capacity로 동작하고, 메모리는 안정적이며, 지연 시간은 제한되고, 컨슈머 인스턴스를 추가할수록 처리량이 예측 가능하게 확장됩니다.

오늘 새로운 실시간 RabbitMQ 워크로드를 구축하는데 본격적인 튜닝을 할 시간이 없다면, 출발점은 prefetch = 100, 컨슈머 단위, 채널당 컨슈머 하나입니다. consumer capacity를 측정해 거기서부터 조정하고, 다른 튜닝 파라미터를 건드리기 전에 메시지 크기를 점검하십시오. 이 한 가지 권고를 일관되게 적용하는 것만으로, 저희가 진단을 요청받는 성능 문제의 상당 부분을 예방할 수 있습니다.

초당 수십만 건의 메시지, 10ms 미만의 SLA, 금융 수준의 내구성처럼 한계를 밀어붙이는 워크로드에서는 튜닝이 더 정교해지고, 쿼럼 큐, Raft, 컨슈머 아키텍처와의 상호작용에 더 많은 주의가 필요합니다. 하지만 출발점도, 방법론도 같습니다. 100에서 시작하고, 측정하고, 조정하고, 메시지를 작게 유지하십시오.

고처리량 RabbitMQ 클러스터를 튜닝하다 한계에 부딪히셨습니까?

AceMQ의 엔지니어링 팀은 트레이딩 플랫폼, 결제 시스템, 글로벌 헬스케어 파이프라인, 초당 수십만 건의 메시지를 처리하는 실시간 분석 환경 등 극한 조건에서 동작하는 RabbitMQ 클러스터를 튜닝해 왔습니다. prefetch는 퍼즐의 한 조각일 뿐입니다. 클러스터가 기대치보다 낮은 수준에서 막혀 있다면, 저희가 브로커, 컨슈머, 큐 유형, 네트워크, 디스크에 걸쳐 병목을 추적해 다시 선형적으로 확장되도록 만들어 드립니다.

새로운 고처리량 워크로드를 구축하면서 처음부터 아키텍처와 튜닝을 제대로 잡고 싶으시거나, 기존 클러스터가 기대만큼 성능을 내지 못하고 있다면 성능 진단에 대해 저희 팀과 상담하십시오. 저희는 전 세계 엔터프라이즈 고객에게 RabbitMQ 컨설팅, RabbitMQ 상용 기술 지원, 심층 RabbitMQ 트러블슈팅을 제공합니다. 저희가 하는 일은 오직 이것뿐입니다.

prefetch count: 핵심 답변

prefetch count는 RabbitMQ가 ack를 기다리며 멈추기 전까지 컨슈머(또는 채널)에 푸시하는, 확인 응답되지 않은 메시지의 최대 개수입니다. 나머지는 모두 이 한도 하나에서 비롯됩니다.

출발점. 대부분의 워크로드에서는 prefetch를 10~30 사이로 설정하고 측정하십시오. 컨슈머 간에 엄격한 순서가 필요하거나 메시지 하나를 처리하는 데 몇 초가 걸린다면 1을 사용합니다. 그보다 크면 컨슈머가 손대지 못할 작업을 쌓아 두게 되기 때문입니다. 100~300 범위로 올리는 것은 컨슈머가 빠르고 멱등하며, 부하 테스트로 컨슈머 호스트에 메모리 여유가 있음을 확인한 경우에만 하십시오. 컨슈머가 포화된 뒤에는 값을 키워도 빨라지지 않습니다. 백로그가 브로커에서 클라이언트로 옮겨 갈 뿐입니다.

0이 가장 많은 문제를 일으키는 이유. prefetch 0은 무제한을 의미합니다. 브로커는 준비된 모든 메시지를 채널이 열려 있는 첫 번째 컨슈머에게 푸시하므로, 컨슈머 하나가 큐를 독차지하고 나머지는 놀게 됩니다. 저희가 요청받는 컨슈머 측 메모리 압박 문제의 대부분도 같은 설정 때문입니다. 큐가 ack를 충분히 빨리 보내지 못하는 단일 프로세스로 쏟아지고, 그 프로세스는 스왑에 빠지거나 강제 종료됩니다. 큐는 비어 보이는데 처리량이 낮고 컨슈머 하나가 CPU 100퍼센트에 묶여 있다면, 가장 먼저 prefetch 0인지 확인하십시오.

prefetch는 수동 ack 컨슈머에만 존재합니다. auto-ack에서는 브로커가 메시지를 보내는 순간 확인 응답된 것으로 처리하므로, 한도에 계산될 미확인 메시지가 생기지 않습니다. auto-ack 컨슈머에 prefetch를 설정해도 아무 효과가 없습니다.

쿼럼 큐와 스트림은 클래식 큐가 아닙니다. 쿼럼 큐는 prefetch를 따르지만, 메시지별 전달 횟수도 추적하며 delivery-limit(4.x 기본값 20)을 적용합니다. prefetch가 큰 컨슈머가 크래시하면 확인 응답되지 않은 모든 메시지가 전달 횟수가 증가한 채로 반환되므로, 몇 번의 재시작만으로 문제가 없던 메시지까지 데드레터링될 수 있습니다. 스트림은 또 다릅니다. 스트림 프로토콜에서는 흐름 제어가 prefetch가 아니라 크레딧 기반입니다. AMQP 0-9-1에서는 스트림 컨슈머가 0이 아닌 prefetch를 설정하고 수동 ack를 사용해야 하며, ack는 아무것도 삭제하지 않고 브로커가 더 보내도록 크레딧을 반환합니다. 자세한 비교는 클래식 큐 vs 쿼럼 큐를 참고하십시오.

부하 테스트에서 prefetch가 '동작하지 않는' 세 가지 이유. 첫째, 컨슈머가 auto-ack라서 설정이 무시됩니다. 둘째, global 플래그입니다. RabbitMQ에서 global=false는 각 컨슈머를, global=true는 채널 전체를 제한하며, 일부 클라이언트 라이브러리는 이 플래그의 기본값이나 해석이 다릅니다. 셋째, 클라이언트 프레임워크가 코드 실행 후에 자체 기본값(대개 1, 때로는 250)을 적용하거나, 설정한 채널과 다른 채널에 적용합니다. 코드를 믿지 말고 rabbitmqctl list_consumers로 실제 적용 값을 확인하십시오.

prefetch는 RabbitMQ 안정성 가이드의 10가지 패턴 중 다섯 번째이자, 같은 처리량 문제의 클러스터 측면을 다루는 클러스터링 및 사이징 가이드의 7단계입니다.

자주 묻는 질문

RabbitMQ prefetch count는 얼마로 설정하는 게 좋나요?

일반적인 컨슈머라면 10~30에서 시작해 부하 테스트로 조정하십시오. 오래 걸리는 작업이거나 컨슈머 간 순서가 중요하다면 1을 사용합니다. 100~300은 빠르고 멱등한 컨슈머이면서, 그만큼의 처리 중(in-flight) 메시지를 담을 메모리 여유가 클라이언트 호스트에 있다는 것을 측정으로 확인한 경우에만 사용하십시오. 운영 환경에서 0으로 두어서는 절대 안 됩니다. 0은 무제한이며, 컨슈머 하나가 큐를 독차지하고 나머지는 노는 현상의 가장 흔한 원인입니다. 올바른 값은 컨슈머를 쉬지 않게 하는 가장 작은 값입니다.

RabbitMQ prefetch count가 적용되지 않는 이유는 무엇인가요?

저희가 조사한 사례의 거의 전부는 세 가지 원인으로 설명됩니다. 컨슈머가 auto-ack를 사용하고 있어 prefetch가 완전히 무시되는 경우, global 플래그가 예상과 반대로 설정되어 한도가 컨슈머 단위가 아니라 채널 단위로(또는 그 반대로) 적용되는 경우, 또는 클라이언트 프레임워크가 코드 실행 후에 자체 기본값을 적용하거나 설정한 채널과 다른 채널에 적용하는 경우입니다. 실제 적용 값은 rabbitmqctl list_consumers로 확인하십시오. 그래도 이상하다면 RabbitMQ 트러블슈팅 이슈 Top 10에서 관련 장애 유형을 다룹니다.

prefetch count는 쿼럼 큐와 스트림에도 적용되나요?

쿼럼 큐는 클래식 큐와 똑같이 prefetch를 따르지만, 한 가지가 추가됩니다. 재전달될 때마다 메시지별 전달 횟수(delivery count)가 증가하고, delivery-limit을 넘으면 메시지가 데드레터링되거나 폐기됩니다. prefetch가 큰 컨슈머가 크래시하면 많은 메시지가 한꺼번에 그 한도에 가까워지므로, 쿼럼 큐에서는 prefetch를 적당한 수준으로 유지하십시오. AMQP 0-9-1을 통한 스트림은 0이 아닌 prefetch와 수동 ack가 필요하지만, ack는 크레딧을 반환할 뿐 메시지를 삭제하지 않습니다. 네이티브 스트림 프로토콜에서는 흐름 제어가 크레딧 기반이며, prefetch 모델 자체가 적용되지 않습니다.

prefetch는 채널 단위로 설정해야 하나요, 컨슈머 단위로 설정해야 하나요?

거의 모든 경우 컨슈머 단위입니다. RabbitMQ에서 global=false(대부분 클라이언트의 기본값)는 각 컨슈머에 독립적으로 한도를 적용하며, 사람들이 기대하는 동작이자 튜닝을 예측 가능하게 만드는 방식입니다. global=true는 채널의 모든 컨슈머에 하나의 공유 한도를 적용하며, 한 채널의 여러 컨슈머가 고정된 처리 중 메시지 예산을 나눠 써야 할 때만 유용합니다. 둘 다 설정하면 브로커는 둘 다 적용합니다. 저희가 매니지드 지원으로 RabbitMQ 3.8~4.x 환경을 인수할 때 가장 먼저 확인하는 것 중 하나가 이 플래그입니다. 의외로 많은 처리량 불만이 이것으로 설명되기 때문입니다.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의