블로그RabbitMQ

RabbitMQ consumer_timeout: 동작 방식과 컨슈머가 사라지는 이유

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 7분 분량

RabbitMQ consumer_timeout: 동작 방식과 컨슈머가 사라지는 이유
On this page

consumer_timeout은 RabbitMQ의 전달 확인 응답(acknowledgement) 타임아웃입니다. 컨슈머가 전달받은 메시지를 타임아웃보다 오래 확인 응답 없이 붙잡고 있으면, RabbitMQ는 PRECONDITION_FAILED 채널 예외와 함께 해당 컨슈머의 채널을 닫고, 확인 응답되지 않은 메시지는 재전달을 위해 큐로 돌아갑니다. 기본값은 30분입니다. RabbitMQ 4.3부터는 쿼럼 큐에만 적용됩니다.

이 타임아웃은 수동 확인 응답 모드의 컨슈머에만 적용됩니다. 메시지를 잃어서는 안 될 때 AMQP 0-9-1 클라이언트에서 흔히 쓰는 설정으로, 브로커가 메시지를 전달하고 컨슈머가 처리를 마친 메시지에 확인 응답을 보내기를 기다리는 방식입니다. 타임아웃은 메시지를 가져간 뒤 멈춰 버린 컨슈머를 잡아내, 작업이 영원히 붙잡혀 있지 않고 큐로 되돌아가게 하기 위해 존재합니다. 그런데 작업이 단순히 30분보다 오래 걸리는 정상 컨슈머도 함께 걸리며, 혼란은 대부분 여기서 시작됩니다. 애플리케이션은 실행 중이고 연결도 열려 있는데, 관리 UI의 컨슈머 수는 조용히 0으로 떨어져 있는 것입니다.

컨슈머 타임아웃 오류는 어떻게 나타날까요

브로커는 컨슈머 태그, 채널, 큐, 전달 태그와 함께 채널 종료를 로그에 남깁니다. RabbitMQ 문서에 나오는 메시지는 다음과 같습니다.

Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.

클라이언트 측에서는 PRECONDITION_FAILED 채널 예외로 나타납니다. 연결이 아니라 채널을 닫기 때문에, 채널 종료를 처리하지 않으면 클라이언트 라이브러리는 연결을 유지한 채 눈에 띄는 로그를 남기지 않는 경우가 많습니다. 큐에서는 해당 메시지가 다시 ready 상태로 표시되고, redelivered 플래그가 설정된 채 재전달되므로 느린 작업이 두 번 실행될 수 있습니다.

RabbitMQ 컨슈머가 소비를 멈추는 세 가지 이유

타임아웃은 애플리케이션이 요청하지 않았는데 컨슈머가 소비를 멈추는 세 가지 경우 중 하나입니다. 관리 UI에서는 똑같아 보이지만 해결 방법은 각각 다릅니다.

  • 확인 응답 타임아웃이 채널을 닫은 경우. 위의 로그가 남고, 연결은 유지되지만 컨슈머는 사라집니다. 작업이 너무 오래 걸렸거나 컨슈머가 멈춘 것입니다.
  • 브로커가 컨슈머를 취소한 경우. 큐가 삭제되거나 큐를 호스팅하는 노드에 장애가 나면, RabbitMQ는 클라이언트에 비동기 basic.cancel을 보냅니다. 클라이언트는 consumer_cancel_notify 기능을 알리며(RabbitMQ 자체 클라이언트는 기본으로 알립니다), 클라이언트 라이브러리는 Java 클라이언트의 handleCancel 같은 콜백으로 이를 전달합니다. 애플리케이션이 이 콜백을 무시하면 컨슈머가 없는 채널만 남게 됩니다.
  • 연결이 끊어진 경우. 로드 밸런서, 방화벽, NAT 게이트웨이가 유휴 TCP 연결을 끊었거나 클라이언트 프로세스가 멈춘 것입니다. 하트비트로 이를 감지합니다. 권장 기본값은 60초이며, 하트비트를 두 번 놓치면 상대가 응답 불가로 간주됩니다. 운영체제 수준에서는 TCP keepalive로 같은 역할을 할 수도 있습니다.

확인 순서는 브로커 로그, 클라이언트의 채널 및 취소 콜백, 네트워크 순입니다. 브로커 로그를 보면 세 가지 중 무엇인지 몇 초 만에 알 수 있습니다.

consumer_timeout 설정: 전역, 큐별, 비활성화

전역 타임아웃 값은 RabbitMQ 구성 파일인 rabbitmq.conf에 밀리초 단위로 설정합니다.

# one hour
consumer_timeout = 3600000

RabbitMQ 3.12부터는 정책이나 큐 인수로 큐별로 설정할 수 있습니다. 애플리케이션을 다시 배포하지 않고 바꿀 수 있으므로 정책이 더 나은 방법입니다.

rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues

큐 인수는 x-consumer-timeout이며, 선언 시점에 역시 밀리초 단위로 설정합니다.

RabbitMQ는 1분에 한 번 타임아웃을 평가하므로, 1분 미만의 값은 지원되지 않고 5분 미만의 값은 권장되지 않습니다. advanced.config에서 consumer_timeout을 undefined로 설정하면 비활성화할 수 있지만, 문서는 끄기보다 몇 시간 정도의 높은 값을 권장합니다.

RabbitMQ 4.3의 변경: 쿼럼 큐에만 적용

RabbitMQ 4.3부터 전달 확인 응답 타임아웃은 쿼럼 큐에서만 지원됩니다. 이로 인해 두 가지 결과가 생깁니다.

  • 클래식 큐 컨슈머는 보호를 잃습니다. 클래식 큐에서 메시지를 가져간 뒤 멈춘 컨슈머는 채널이나 연결이 닫힐 때까지 메시지를 붙잡고 있습니다. 멈춘 클래식 큐 컨슈머를 복구하는 데 타임아웃에 의존했다면, 대신 클라이언트 측 타임아웃이나 모니터링이 필요합니다.
  • 쿼럼 큐로 옮기면 타임아웃이 켜질 수 있습니다. 1시간짜리 작업으로 클래식 큐에서 문제없이 돌던 워크로드가 쿼럼 큐 마이그레이션 후 PRECONDITION_FAILED 채널 종료를 겪기 시작할 수 있습니다. 첫 장애가 난 뒤가 아니라 마이그레이션 과정에서 해당 큐에 큐별 consumer-timeout을 설정하십시오.

큐 유형 간의 더 폭넓은 차이는 클래식 큐에서 쿼럼 큐로의 마이그레이션에서 다룹니다.

타임아웃 전에 멈춘 컨슈머를 감지하는 방법

타임아웃 직전의 컨슈머는 겉보기에는 정상입니다. 연결되어 있고, 구독 중이며, 처리 중인 메시지도 있습니다. 세 가지 점검으로 미리 알아낼 수 있습니다.

움직이지 않는 미확인 메시지. 큐별로 ready 메시지, 미확인(unacknowledged) 메시지, 컨슈머 수를 비교하십시오.

rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation

messages_ready는 늘어나는데 messages_unacknowledged가 그대로인 큐는 컨슈머가 메시지를 받아 놓고 처리를 끝내지 못하고 있다는 뜻입니다. 적체가 있는 큐에서 consumer_utilisation이 1.0보다 한참 낮다면 같은 상황을 반대편에서 보여 주는 것입니다. 큐에 메시지는 있지만 컨슈머가 prefetch 한도에 도달해 전달하지 못하고 있습니다.

메시지를 붙잡고 있는 컨슈머. rabbitmqctl list_consumers는 모든 구독을 채널, 컨슈머 태그, 확인 응답 필요 여부, prefetch 한도와 함께 보여 줍니다. 느린 큐에서 prefetch가 높은 컨슈머가 1순위 용의자입니다.

시간에 따른 컨슈머 수. Prometheus에서 값이 집계되지 않고 큐별로 보고되도록 객체별 지표를 활성화한 다음, 항상 소비되어야 하는 큐에서 rabbitmq_queue_consumers가 0으로 떨어질 때, 그리고 전달 및 확인 응답 비율이 함께 오르지 않는데 rabbitmq_queue_messages_unacked만 오를 때 알림을 거십시오. 이 두 알림으로 타임아웃, 브로커가 시작한 취소, 끊어진 연결 중 무엇이 먼저 일어나든 잡아낼 수 있습니다.

컨슈머 타임아웃을 막는 방법

타임아웃을 올리는 것은 작업이 정말로 그만큼 오래 걸릴 때만 올바른 해결책입니다. 나머지는 클라이언트 동작의 문제입니다.

  • 타임아웃은 큐별로 정하십시오. 오래 걸리는 작업을 처리하는 큐에만 정상 처리 시간의 최댓값보다 여유를 둔 consumer-timeout을 설정하고, 전역 기본값은 그대로 두십시오.
  • 느린 작업에는 prefetch를 낮게 유지하십시오. prefetch된 메시지는 모두 이미 타임아웃이 계산되고 있는 전달입니다. prefetch가 50이고 작업 하나에 1분이 걸린다면, 31번째 메시지는 컨슈머가 처리를 시작하기도 전에 이미 30분 넘게 붙잡혀 있어 기본 타임아웃에 걸려 채널이 닫힙니다. RabbitMQ prefetch count를 참고하십시오.
  • 메시지를 받은 채널에서 확인 응답하고, 예외 경로를 포함한 모든 코드 경로에서 확인 응답하십시오. 오류 분기에서 ack가 빠지는 것이 타임아웃될 때까지 메시지를 붙잡는 컨슈머의 가장 흔한 원인입니다.
  • 채널 종료와 취소 알림을 처리하십시오. 채널이 닫히거나 basic.cancel을 받으면 새 채널을 열고 다시 구독하십시오. 클라이언트 라이브러리의 자동 연결 복구는 끊어진 연결을 다시 잇지만, 단일 채널 종료나 브로커가 시작한 취소까지 항상 처리하지는 않습니다.
  • 처리를 멱등하게 만드십시오. 타임아웃된 메시지는 큐로 돌아가 재전달되므로, 90퍼센트까지 끝난 작업이 다시 실행됩니다. 제시간에 절대 끝날 수 없는 메시지는 재전달 루프가 아니라 데드 레터 큐로 보내야 합니다. RabbitMQ 데드 레터 큐를 참고하십시오.
  • 큐 깊이만이 아니라 큐별 미확인 메시지와 컨슈머 수에 알림을 거십시오. 항상 컨슈머가 있어야 하는 큐에서 컨슈머 수가 0이 되는 것이 세 가지 장애 유형 모두의 가장 이른 신호입니다.

저희가 처리하는 RabbitMQ 기술 지원 티켓에서도 이런 패턴이 꾸준히 나타납니다. 쿼럼 큐 마이그레이션이나 메모리 한도 변경 이후, 애플리케이션은 정상인데 컨슈머가 사라졌다는 보고입니다. 이런 증상을 보이는 클러스터를 함께 점검할 사람이 필요하다면 AceMQ RabbitMQ 기술 지원이 도와드리며, 더 폭넓은 진단 과정은 RabbitMQ 트러블슈팅 가이드에서 다룹니다.

출처

자주 묻는 질문

RabbitMQ의 consumer_timeout이란 무엇인가요?

전달 확인 응답(acknowledgement) 타임아웃입니다. 컨슈머가 전달받은 메시지를 타임아웃보다 오래 확인 응답 없이 붙잡고 있으면, RabbitMQ는 PRECONDITION_FAILED 채널 예외와 함께 해당 컨슈머의 채널을 닫고, 확인 응답되지 않은 메시지는 큐로 돌아갑니다. 기본값은 30분입니다.

RabbitMQ 컨슈머 타임아웃의 기본값은 얼마인가요?

30분(1,800,000ms)입니다. RabbitMQ는 1분에 한 번 타임아웃 적용 여부를 확인하므로, 1분 미만의 값은 지원되지 않고 5분 미만의 값은 권장되지 않습니다.

특정 큐 하나의 컨슈머 타임아웃만 바꾸려면 어떻게 하나요?

RabbitMQ 3.12부터는 정책(policy)에 consumer-timeout 키를 설정하거나, 큐를 선언할 때 x-consumer-timeout 인수를 지정하면 됩니다. 둘 다 밀리초 단위입니다. 클러스터의 모든 큐에 적용되는 전역 consumer_timeout을 올리는 것보다 큐별 값을 쓰는 편이 안전합니다.

RabbitMQ 4.3에서 consumer_timeout은 클래식 큐에도 적용되나요?

아닙니다. RabbitMQ 4.3부터 전달 확인 응답 타임아웃은 쿼럼 큐에서만 지원됩니다. 4.3에서는 메시지를 무한정 붙잡고 있는 클래식 큐 컨슈머를 브로커가 더 이상 닫지 않습니다.

RabbitMQ 컨슈머 타임아웃을 비활성화할 수 있나요?

네. advanced.config에서 consumer_timeout을 undefined로 설정하면 되지만, RabbitMQ 문서는 이를 권장하지 않습니다. 몇 시간 정도로 높은 값을 설정하면 오래 걸리는 작업을 끊지 않으면서도 보호 기능을 유지할 수 있습니다.

애플리케이션은 실행 중인데 RabbitMQ 컨슈머 수가 0으로 떨어지는 이유는 무엇인가요?

대개 세 가지 중 하나입니다. 전달 확인 응답 타임아웃이 컨슈머의 채널을 닫았거나, 큐가 삭제되거나 사용할 수 없게 되어 브로커가 컨슈머를 취소했거나, TCP 연결이 끊어져 하트비트 누락 후 정리된 경우입니다. 채널을 다시 열고 재구독하지 않는 클라이언트는 연결은 유지된 채 아무것도 소비하지 않습니다.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의