블로그RabbitMQ

RabbitMQ 데드 레터 큐: 엔터프라이즈 가이드

Scott Sternloff

작성: Scott Sternloff, 시니어 엔터프라이즈 아키텍트

LinkedIn · 업데이트: · 19분 분량

RabbitMQ 데드 레터 큐: 엔터프라이즈 가이드
On this page

데드 레터링은 RabbitMQ가 더 이상 전달할 수 없는 메시지를 처리 가능한 곳으로 옮기는 방식입니다. 잘 구성하면 잘못된 페이로드가 하나의 티켓이 됩니다. 잘못 구성하면, 저희가 현장에서 가장 흔하게 보는, 프로덕션 메시지가 흔적도 없이 사라지는 원인이 됩니다. 이 가이드는 RabbitMQ 3.13 및 4.x에서 이 메커니즘이 실제로 어떻게 동작하는지, 그 위에 구축하는 재시도 패턴, 그리고 데드 레터 큐를 제대로 유지하기 위한 운영 습관을 다룹니다.

데드 레터링의 정확한 정의

큐가 메시지를 데드 레터링하는 사유는 정확히 네 가지입니다.

  1. 컨슈머가 basic.reject 또는 basic.nack와 requeue=false로 메시지를 거부한 경우.
  2. 메시지별 TTL 또는 큐의 message-ttl이 만료된 경우.
  3. 큐가 max-length 또는 max-length-bytes 한도를 초과해 헤드에서 메시지를 삭제한 경우. 이는 기본 오버플로 동작인 drop-head의 동작이며, reject-publish에서는 브로커가 새 퍼블리시를 거부하므로 데드 레터링되는 메시지가 없습니다.
  4. 쿼럼 큐에서 메시지가 delivery-limit이 허용하는 횟수보다 더 많이 큐로 반환된 경우.

브로커는 이를 각각 rejected, expired, maxlen, delivery_limit로 기록합니다. 그 밖의 경우는 해당되지 않습니다. x-expires로 만료된 큐는 내용물과 함께 삭제됩니다. purge는 메시지를 폐기합니다. 퍼블리시 시점에 브로커가 라우팅할 수 없는 메시지도 데드 레터링되지 않으며, 이는 mandatory 플래그나 대체 익스체인지가 담당하는 영역입니다.

데드 레터 익스체인지(DLX)는 일반 익스체인지입니다. 특별한 유형도, 선언 시 지정하는 플래그도 없습니다. 큐가 데드 레터링할 때 메시지를 다시 퍼블리시하는 익스체인지일 뿐이며, 큐에 dead-letter-routing-key가 설정되어 있으면 그 키를, 없으면 메시지의 원래 라우팅 키를 사용합니다. 일반 익스체인지이므로 파킹 랏 큐와 감사 큐로 팬아웃하거나, 토픽 익스체인지를 통해 원래 키 기준으로 라우팅하거나, 각 팀의 실패 메시지를 해당 팀의 큐로 보낼 수 있습니다. "데드 레터 큐"란 그 익스체인지에 바인딩한 큐를 가리킬 뿐입니다.

메시지가 다시 퍼블리시될 때 두 가지가 바뀝니다. expiration 속성이 지워지므로, 한 번 만료된 메시지가 곧바로 다시 만료되지 않습니다. 원래 값은 x-death에 original-expiration으로 보존됩니다. 그리고 x-death 헤더가 추가되거나 갱신됩니다. 본문, 메시지 ID, correlation ID 및 그 밖의 모든 속성은 그대로 유지됩니다.

데드 레터 익스체인지 설정: 인수와 정책

큐에 DLX를 연결하는 방법은 두 가지입니다. 큐 인수는 클라이언트가 선언 시점에 설정합니다.

{
  "x-queue-type": "quorum",
  "x-dead-letter-exchange": "orders.retry",
  "x-dead-letter-routing-key": "order.failed"
}

정책은 dead-letter-exchange와 dead-letter-routing-key 키를 사용해 브로커 측에서 같은 동작을 설정하며, 이름 패턴으로 큐에 매칭됩니다.

정책을 권장합니다. 큐 인수는 변경할 수 없습니다. 인수로 설정한 DLX를 바꾸려면 큐를 삭제하고 다시 선언해야 하는데, 이는 먼저 큐를 비우고 그 큐를 선언하는 모든 클라이언트와 조율해야 한다는 뜻입니다. 정책은 런타임에 변경할 수 있고, 매칭되는 모든 큐에 적용되며, definitions 내보내기에 포함되고, 운영자가 읽을 수 있는 한곳에 모여 있습니다. 둘 다 있으면 인수가 우선하는데, 이것이 인수를 피해야 하는 두 번째 이유입니다. x-dead-letter-exchange를 설정한 애플리케이션은 운영팀이 배포 없이는 재정의할 수 없는 값을 고정해 버립니다. 예외는 x-queue-type으로, 반드시 인수로 지정해야 하지만 큐의 유형은 결코 바뀌지 않으므로 문제가 되지 않습니다.

함정이 하나 있습니다. 큐에는 우선순위가 가장 높은 정책 하나만 적용됩니다. 같은 큐에 데드 레터링용 정책과 max-length 또는 delivery-limit용 정책을 따로 정의하면 하나만 적용됩니다. 큐에 필요한 모든 키를 같은 정책 정의에 넣으십시오.

브로커는 메시지를 데드 레터링할 때 x-death 헤더에 항목을 추가합니다. 이 헤더는 큐와 사유 조합마다 항목 하나를 갖는 배열입니다. 같은 큐가 같은 메시지를 같은 사유로 다시 데드 레터링하면 해당 항목의 count가 증가하고 그 항목이 배열의 맨 앞으로 이동합니다. 각 항목에는 큐, 사유, 메시지가 가지고 있던 익스체인지와 라우팅 키, 타임스탬프, 그리고 TTL이 관련된 경우 original-expiration이 기록됩니다. 브로커는 또한 x-first-death-reason, x-first-death-queue, x-first-death-exchange를 한 번만 설정하고, x-last-death-*에 해당하는 값은 계속 최신으로 유지합니다. 재시도 루프를 세 바퀴 돈 후의 헤더 예시는 다음과 같습니다.

x-death:
  - queue: orders.work
    reason: rejected
    exchange: orders
    routing-keys: [order.created]
    count: 3
    time: 1788430492
  - queue: orders.wait.30s
    reason: expired
    exchange: orders.retry
    routing-keys: [order.created]
    count: 3
    time: 1788430462
    original-expiration: "30000"
x-first-death-reason: rejected
x-first-death-queue: orders.work
x-first-death-exchange: orders
x-last-death-reason: rejected
x-last-death-queue: orders.work
x-last-death-exchange: orders

데드 레터링은 순환을 만들 수 있으며, 브로커에는 이에 대한 규칙이 하나 있습니다. 메시지가 같은 큐에 두 번 도달했는데 순환 중 어느 단계에서도 거부가 없었다면 메시지는 삭제됩니다. 컨슈머 거부가 한 단계라도 있었다면 순환은 계속됩니다. 따라서 requeue=false로 동작하는 재시도 루프는 매 바퀴에 거부가 포함되므로 정상 동작하지만, 작업 큐로 다시 데드 레터링하는 message-ttl 설정 파킹 랏처럼 TTL만으로 구성된 루프는 두 번째 바퀴에서 메시지를 조용히 삭제합니다.

쿼럼 큐에서는 규칙이 달라집니다

쿼럼 큐는 재전달 횟수를 x-delivery-count 헤더로 세며, delivery-limit 정책 키(또는 x-delivery-limit 인수)로 상한을 둡니다. 상한을 넘으면 DLX가 구성되어 있는 경우 메시지를 데드 레터링하고, 그렇지 않으면 삭제합니다. RabbitMQ 4.0부터 기본 전달 한도는 20이며, 그 이전에는 무제한이었습니다.

클래식 큐에서 마이그레이션하는 팀이 놀라는 지점이 바로 이 기본값입니다. 예외를 잡아 requeue=true로 basic.nack을 호출하는 컨슈머는 클래식 큐에서 CPU를 낭비할 뿐 아무것도 잃지 않고 끝없이 돌았습니다. DLX가 없는 4.x 쿼럼 큐에서는 같은 코드가 20번 시도 후 메시지를 삭제하며, 남는 흔적은 카운터 하나뿐입니다. delivery-limit은 직접 정한 값으로 설정하고, 반드시 DLX와 함께 구성하십시오.

쿼럼 큐는 또한 dead-letter-strategy 정책 키를 통해 두 가지 데드 레터 전략을 지원합니다. 기본값인 at-most-once는 confirm 없이 다시 퍼블리시합니다. DLX가 존재하지 않거나, 대상 큐를 사용할 수 없거나 메시지를 거부하면 메시지는 사라집니다. 클래식 큐가 항상 제공해 온 보장 수준이 바로 이것입니다.

at-least-once는 DLX에 바인딩된 모든 큐가 confirm할 때까지 데드 레터링된 메시지를 원본 큐에 보관합니다. 이를 위해서는 원본이 쿼럼 큐여야 하고, overflow가 reject-publish로 설정되어 있어야 하며, DLX가 있어야 합니다. 내부적으로는 큐 리더가 데드 레터 워커를 실행하며, 공식 문서에서는 이를 데드 레터 컨슈머라고 부릅니다. 이 워커는 원본 큐에서 데드 레터링된 메시지를 읽어 confirm과 함께 DLX로 퍼블리시하고, confirm되지 않은 메시지는 재시도합니다. 여기서 세 가지 결과가 나옵니다. DLX가 없거나 대상이 다운되면, 의도된 설계대로 메시지가 원본 큐에 쌓이며 원본 큐의 길이와 디스크 사용량에 반영됩니다. 전달이 at-least-once이므로 DLQ에 중복 메시지가 들어올 수 있습니다. 그리고 내부 데드 레터 컨슈머는 배관일 뿐 애플리케이션이 아니므로, 데드 레터 큐에는 여전히 실제 컨슈머가 필요합니다.

동작클래식 큐쿼럼 큐
재전달 상한없음, 재큐잉 루프가 끝없이 반복delivery-limit, 4.x 기본값 20, 초과 시 DLX 또는 삭제
재전달 횟수redelivered 플래그만 제공x-delivery-count 헤더
데드 레터 전략at-most-once만 지원at-most-once 또는 at-least-once
복제미러링은 4.0에서 제거됨설계상 Raft로 복제
오버플로 기본값drop-headdrop-head, at-least-once에는 reject-publish 필요

메시지를 잃지 않는 재시도 패턴

기본 재시도 루프는 대기 큐를 사용합니다. 작업 큐의 DLX는 재시도 익스체인지이며, 이 익스체인지는 큐 수준 message-ttl이 설정되고 컨슈머가 없는 대기 큐로 라우팅합니다. 대기 큐의 DLX는 작업 익스체인지이며, dead-letter-routing-key를 설정하지 않으므로 메시지는 원래 라우팅 키로 다시 들어옵니다. 일시적 장애를 만난 컨슈머는 requeue=false로 거부하고, 메시지는 TTL만큼 기다린 뒤 돌아옵니다. 컨슈머는 작업 큐에 대한 사유 rejected의 x-death 항목에서 시도 횟수를 읽고, 상한에 도달하면 다시 거부하는 대신 메시지를 파킹 랏으로 옮깁니다.

지수 백오프에는 지연 단계마다 대기 큐를 하나씩 사용하십시오: wait.10s, wait.1m, wait.10m. 하나의 큐에서 메시지별 TTL로 구현해서는 안 됩니다. 클래식 큐와 쿼럼 큐 모두 만료된 메시지는 큐의 헤드에서만 제거되므로, 헤드에 있는 10분짜리 메시지가 그 뒤의 10초짜리 메시지를 막아 버립니다. 단계별 큐를 쓰면 컨슈머가 시도 횟수에 따라 단계를 고르고, 해당 단계의 라우팅 키로 재시도 익스체인지에 퍼블리시한 뒤, 퍼블리셔 confirm을 기다렸다가 그 후에야 원본 메시지를 ack합니다. confirm이 도착하기 전에 ack하는 것이 컨슈머 주도 재시도에서 메시지를 잃는 지점입니다. 그래도 delivery-limit에 대비한 안전망으로 작업 큐의 DLX는 유지하십시오.

대안은 delayed message exchange 플러그인입니다. x-delay 헤더와 함께 퍼블리시하면 익스체인지가 지연 시간이 지날 때까지 메시지를 보관합니다. 트레이드오프는 내구성입니다. 지연된 메시지는 익스체인지를 호스팅하는 노드의 로컬 저장소에 있고 복제되지 않으므로, 그 노드를 잃으면 대기 중인 모든 메시지를 잃습니다. 또한 대기 중인 메시지가 많이 쌓이면 플러그인 성능이 저하됩니다. 검사할 수 있는 큐도 없습니다. 짧은 지연 몇 가지에는 편리하지만, 새벽 3시에 들여다봐야 할 수도 있는 재시도 백로그라면 대기 큐가 지루하지만 눈에 보이고, 쿼럼 큐로 선언하면 복제까지 됩니다.

재시도는 일시적 장애에만 도움이 됩니다. 페이로드가 잘못되었거나 존재하지 않는 레코드를 참조하는 등 결정론적으로 실패하는 메시지는 곧바로 파킹 랏으로 보내야 하므로, 컨슈머에서 재시도 가능한 예외와 불가능한 예외를 구분하십시오. 그리고 이 글에서 소개하는 모든 메커니즘은 같은 메시지를 두 번 전달할 수 있습니다. 재시도, 재처리, at-least-once 데드 레터링은 전달을 보장할 뿐 유일성을 보장하지 않습니다. 컨슈머는 메시지 ID나 비즈니스 키를 기준으로 멱등성을 갖춰야 합니다. 그렇지 않으면 재시도가 실패를 이중 결제로 바꿔 놓습니다.

실전 예제: 대기 큐와 파킹 랏을 사용한 주문 처리

토폴로지는 다음과 같습니다.

  • 익스체인지 orders(토픽)와 order.*로 바인딩된 쿼럼 큐 orders.work.
  • 익스체인지 orders.retry(팬아웃)와 TTL 30초로 orders에 다시 데드 레터링하는 쿼럼 큐 orders.wait.30s.
  • 익스체인지 orders.dlx(팬아웃)와 TTL도 자동화도 없는 쿼럼 큐 orders.parking.

정책 두 개로 충분합니다.

rabbitmqctl set_policy --vhost orders orders-work '^orders\.work$' \
  '{"dead-letter-exchange":"orders.retry","dead-letter-strategy":"at-least-once","overflow":"reject-publish","delivery-limit":5}' \
  --apply-to queues --priority 10

rabbitmqctl set_policy --vhost orders orders-wait '^orders\.wait\.' \
  '{"message-ttl":30000,"dead-letter-exchange":"orders","dead-letter-strategy":"at-least-once","overflow":"reject-publish"}' \
  --apply-to queues --priority 10

컨슈머는 시도 횟수 상한을 적용하고, ack하기 전에 confirm과 함께 퍼블리시하는 방식으로 명시적으로 파킹합니다.

MAX_ATTEMPTS = 3

def on_message(msg):
    attempts = death_count(msg.headers, queue="orders.work", reason="rejected")
    try:
        process_order(msg)                 # idempotent on msg.message_id
        msg.ack()
    except RetryableError as err:
        if attempts + 1 >= MAX_ATTEMPTS:
            park(msg, reason=str(err))
        else:
            log.warning("retry", id=msg.message_id, attempt=attempts + 1, err=err)
            msg.reject(requeue=False)      # -> orders.retry -> orders.wait.30s -> orders
    except NonRetryableError as err:
        park(msg, reason=str(err))

def park(msg, reason):
    headers = dict(msg.headers, **{"x-parked-reason": reason, "x-parked-at": now_iso()})
    publish_with_confirm("orders.dlx", msg.routing_key, msg.body, msg.properties, headers)
    msg.ack()                              # ack only after the broker confirmed the park

각 구성 요소는 특정한 상황을 방어합니다. 처리 도중 크래시가 나면 메시지가 재큐잉되고, 연속 다섯 번이면 delivery-limit에 걸려 메시지가 삭제되는 대신 대기 큐로 갑니다. 일시적 장애는 30초를 기다린 뒤 돌아오며, 최대 세 번까지 시도합니다. 영구적 장애는 처음 발견하는 즉시 파킹됩니다. at-least-once 데드 레터링 덕분에 orders.wait.30s를 잠시 사용할 수 없더라도 재시도 단계에서 메시지를 잃지 않습니다.

데드 레터 큐 운영

데드 레터 큐는 누군가 그 큐가 차는 것을 알아챌 때만 쓸모가 있습니다. 대부분은 네 가지 신호로 커버할 수 있습니다.

깊이: 파킹 랏과 각 대기 큐의 rabbitmq_queue_messages로, 객체별 메트릭을 활성화한 Prometheus 플러그인이나 detailed 엔드포인트의 queue_coarse_metrics 패밀리에서 얻을 수 있습니다. 발생률은 깊이보다 변화를 더 빨리 감지합니다. rabbitmq_global_messages_dead_lettered_*_total 카운터는 데드 레터링을 사유별로, at-least-once의 경우 confirm 여부별로 나누어 보여 줍니다. 컨슈머 수는 토폴로지가 온전한지 알려 줍니다. rabbitmq_queue_consumers는 파킹 랏에서는 0이 아니어야 하고 모든 대기 큐에서는 정확히 0이어야 합니다. 대기 큐에 컨슈머가 붙으면 지연이 무력화되기 때문입니다. 경과 시간은 RabbitMQ가 직접 노출하지 않으므로, 큐를 샘플링할 때 x-parked-at 헤더나 x-death의 time으로 근사하십시오.

서비스에 맞게 조정할 출발점 임곗값은 다음과 같습니다.

  • 평소 데드 레터링이 전혀 없는 큐에서 하나라도 발생: 즉시 경고. 첫 번째 건이 조사 비용이 가장 적습니다.
  • 5분 동안 데드 레터 발생률이 퍼블리시 속도의 1%를 초과: 호출(page).
  • delivery_limit 카운터가 조금이라도 증가: 조사. 비즈니스 실패가 아니라 컨슈머 크래시나 재큐잉 루프를 의미합니다.
  • 파킹 랏 깊이가 검토 가능한 역량에 맞춰 정한 수를 초과하거나 30분 동안 계속 증가: 호출.
  • 파킹 랏에 10분 동안 컨슈머가 0개이거나, 대기 큐에 컨슈머가 하나라도 있음: 알림.
  • at-least-once가 구성된 상태에서 DLQ는 그대로인데 원본 큐 깊이가 증가: DLX 또는 그 대상이 고장 난 것입니다.

파킹하는 시점에 브로커가 기록하지 않는 정보를 로그로 남기십시오. 예외 클래스와 메시지, 컨슈머 호스트와 빌드, 메시지 ID와 correlation ID, x-death의 원래 익스체인지와 라우팅 키, 그리고 시도 횟수입니다. 메시지가 데드 레터링된 이유는 브로커가 알지만, 무엇이 잘못되었는지는 컨슈머만 압니다. 예제의 x-parked-reason처럼 사유를 헤더로도 첨부해 두면, 나중에 큐를 여는 사람이 로그를 대조하지 않고도 읽을 수 있습니다. 본문이 작고 민감한 내용이 없는 경우가 아니면 본문 전체를 로그에 남기지 마십시오. 본문은 큐에 있습니다.

메시지를 안전하게 재처리하기

재처리(replay)란 파킹된 메시지를 작업 익스체인지로 다시 퍼블리시하는 것입니다. 먼저 원인을 해결하십시오. 수정되지 않은 컨슈머로 재처리하면 사람이 중간에 끼어 있는, 파킹 랏과 작업 큐 사이의 루프가 생깁니다.

가장 간단한 도구는 rabbitmqctl set_parameter shovel로 만드는, 파킹 랏에서 작업 익스체인지로 가는 동적 Shovel입니다. ack-mode는 on-confirm으로 설정해 작업 큐가 confirm한 후에만 메시지가 파킹 랏을 떠나도록 하고, dest-exchange는 작업 익스체인지로 설정하되 원래 라우팅 키가 사용되도록 dest-exchange-key는 비워 두며, src-delete-after를 queue-length로 설정해 Shovel이 시작 시점에 있던 메시지만 비운 뒤 스스로 제거되도록 하십시오. 관리 UI의 메시지 이동 기능도 내부적으로는 Shovel입니다. Shovel은 필터링 없이 모든 메시지를 순서대로 재처리하며 x-death는 계속 누적되는데, 이것이 바람직한 동작입니다. 다시 실패한 메시지는 더 긴 이력을 가지고 파킹 랏으로 돌아옵니다.

선별이 필요하다면 재처리용 컨슈머를 사용하십시오. 적당한 prefetch로 파킹 랏에서 소비하고, 헤더·시간·ID로 필터링하고, confirm과 함께 퍼블리시하고, 각 confirm 후에 ack하는 작은 도구입니다. 속도 제한을 거십시오. 주말 동안 가득 찬 파킹 랏이 월요일 아침 다운스트림 데이터베이스로 한꺼번에 몰려들 수 있습니다. 시도 횟수를 새로 시작하고 싶다면 x-death를 제거할 수 있지만, 그 대신 x-replay-count 헤더를 기록해야 합니다.

confirm 없이 임시 스크립트로 다시 퍼블리시하지 말고, 피크 시간대에 재처리하지 말며, 근본 원인을 파악하지 못한 배치는 재처리하지 마십시오.

보존과 디스크

파킹 랏은 내구성 있는 상태입니다. 쿼럼 큐에서는 모든 메시지가 모든 멤버의 Raft 로그와 세그먼트 파일에 기록되므로, 멤버가 3개인 큐는 메시지가 머무는 동안 사본 3개를 보관합니다. 데드 레터링되는 메시지는 대개 큰 메시지이고, 대개 며칠씩 머뭅니다. 디스크를 계획하십시오.

파킹 랏은 max-length-bytes와 overflow로 크기를 제한하되, drop-head가 아닌 reject-publish로 설정하십시오. drop-head는 큐가 가득 차면 가장 오래된 증거를 조용히 폐기합니다. reject-publish는 가득 찬 파킹 랏을 요란하게 만듭니다. 그곳으로의 데드 레터링이 실패하고, at-least-once 원본 큐가 백로그를 보관하고, 알림이 울립니다. 요란한 것이 올바릅니다.

파킹 랏에 message-ttl을 설정하지 마십시오. 보존은 검토 기간보다 오래된 메시지를 오브젝트 스토리지나 데이터베이스 테이블로 옮기고 ack하는 아카이브용 컨슈머의 역할이며, 이를 통해 큐를 아카이브가 아닌 수신함으로 유지합니다. 피하려는 장애는 실제로 일어납니다. 아무도 비우지 않는 파킹 랏은 노드가 여유 디스크 알람 임곗값을 넘을 때까지 커지고, 디스크 알람은 해당 노드의 모든 퍼블리셔를 차단해 실패 메시지가 서서히 쌓이던 상황을 클러스터 전체 장애로 바꿔 놓습니다.

프로덕션에서 자주 보는 안티패턴

컨슈머도 알림도 없는 DLQ. 디스크 알람이 울리거나 몇 달 뒤 무관한 장애를 조사하던 누군가가 그 큐를 발견할 때까지 메시지가 쌓입니다. 큐가 커지는 것을 알아채지 못한다면, 단계만 몇 개 더 있는 누수를 구성한 것입니다.

라우팅 키를 바꾸지 않은 채, 큐가 이미 바인딩된 익스체인지로 데드 레터링하는 것. 메시지는 같은 큐로 되돌아옵니다. 만료되었거나 길이 제한으로 삭제된 메시지라면 순환 감지로 폐기됩니다. 거부된 메시지라면 컨슈머를 전속력으로 핫 루프하며 CPU를 포화시키고 로그를 가득 채웁니다.

무제한 재시도. 시도 횟수 상한이 없으면 절대 성공하지 못할 메시지가 영원히 순환하면서 매 바퀴마다 컨슈머 처리 능력을 소모하고, at-least-once와 reject-publish를 사용하는 경우 원본 큐까지 밀려 쌓일 수 있습니다.

4.x에서 DLX를 받는 미러링된 클래식 큐. 클래식 큐 미러링은 RabbitMQ 4.0에서 제거되었고 ha-* 정책 키는 더 이상 적용되지 않습니다. 3.x에서 복제되던 데드 레터 큐는 업그레이드 후 단일 노드 클래식 큐가 되며, 그 노드에 장애가 나면 증거도 함께 사라집니다. 업그레이드 전에 데드 레터 큐를 쿼럼 큐로 전환하십시오.

DLQ 자체에 설정한 TTL. "깔끔하게 유지하려고" 파킹 랏에 일주일짜리 message-ttl을 설정하면 조사에 필요한 바로 그 메시지가 삭제됩니다. 게다가 파킹 랏이 작업 큐로 다시 데드 레터링하도록 되어 있으면, TTL이 만료만으로 이루어진 순환을 만들고 순환 감지가 이를 조용히 삭제합니다.

더 작은 것 두 가지도 있습니다. 파킹하는 대신 본문을 로그에 남기고 ack하는 것은 로그 한 줄을 큐처럼 취급하는 것입니다. 그리고 파킹 랏 컨슈머를 작업 컨슈머와 같은 프로세스에서 실행하면, 파킹 랏을 채우는 장애가 그것을 비워야 할 컨슈머까지 함께 쓰러뜨립니다.

다음 단계

데드 레터링은 라우팅 위에서 동작하며, DLX의 타당성은 그 주변 익스체인지 설계에 달려 있습니다. 이 주제는 마이크로서비스를 위한 익스체인지, 큐, 바인딩 가이드에서 자세히 다룹니다. 아직 큐 유형을 정하지 않았다면 클래식 큐와 쿼럼 큐 비교에서 판단 기준을 확인하십시오. 이 글의 모든 내용은 중요한 데이터에는 쿼럼 큐를 쓴다는 전제를 따릅니다. 애초에 파킹 랏을 채우는 더 넓은 범위의 장애 유형은 RabbitMQ 트러블슈팅 10대 이슈를 참고하십시오.

데드 레터 큐가 차오르는데 이유를 모르겠거나, 4.x 업그레이드를 계획 중이어서 미러링된 큐를 더 이상 쓸 수 없게 되기 전에 DLX 토폴로지를 검토받고 싶다면, 바로 저희가 하는 일입니다. AceMQ는 Broadcom이 지명한 유일한 RabbitMQ MSP 파트너로서 RabbitMQ 3.8.x부터 4.x까지 지원하며, P1 장애에 플랜에 따라 15분부터 시작하는 대응 목표로 대응합니다. RabbitMQ 기술 지원 플랜을 확인하시거나 AceMQ의 RabbitMQ 서비스 방식에 대해 자세히 알아보십시오.

자주 묻는 질문

데드 레터 익스체인지와 데드 레터 큐는 어떻게 다른가요?

데드 레터 익스체인지는 큐가 메시지를 데드 레터링할 때 그 메시지를 다시 퍼블리시하는 익스체인지입니다. 특별한 유형이 없는 일반 익스체인지입니다. 데드 레터 큐는 그 익스체인지에 바인딩된 아무 큐를 가리키며, 이 이름은 관례일 뿐 브로커의 개념이 아닙니다. RabbitMQ가 아는 것은 익스체인지뿐이며, 메시지가 최종적으로 어디에 도착할지는 선언한 바인딩에 따라 달라집니다. 이렇게 분리되어 있다는 점이 유용합니다. 하나의 DLX로 재처리용 파킹 랏(parking lot) 큐와 분석용 감사 큐에 팬아웃할 수도 있고, 원래 라우팅 키를 기준으로 각 팀의 실패 메시지를 해당 팀의 큐로 라우팅할 수도 있습니다.

라우팅할 수 없는 메시지도 RabbitMQ가 데드 레터링하나요?

아니요. 데드 레터링은 이미 큐에 들어간 메시지가 거부되었거나, 만료되었거나, 길이 제한으로 삭제되었거나, 쿼럼 큐의 전달 한도를 초과한 경우에만 적용됩니다. 일치하는 바인딩이 없는 익스체인지로 퍼블리시된 메시지는 퍼블리시 시점에 폐기됩니다. 단, 퍼블리셔가 mandatory 플래그를 설정했다면 퍼블리셔에게 반환되고, 익스체인지에 대체 익스체인지(alternate exchange)가 설정되어 있다면 그곳으로 라우팅됩니다. 라우팅되지 않는 메시지가 중요하다면 전용 큐를 갖춘 대체 익스체인지를 구성하고, 데드 레터 큐와 같은 방식으로 모니터링하십시오.

RabbitMQ에서 재시도 횟수는 어떻게 세나요?

x-death 헤더를 읽으십시오. 각 항목은 큐와 사유의 조합 하나를 나타내며, 해당 큐가 그 사유로 메시지를 데드 레터링할 때마다 count 필드가 증가합니다. 대기 큐 기반 재시도 루프라면 queue가 작업 큐이고 reason이 rejected인 항목을 찾으면 됩니다. 그 count가 지금까지의 시도 횟수입니다. 쿼럼 큐에서는 별도의 x-delivery-count 헤더가 한 큐 안에서의 재전달 횟수를 세며, 명시적 거부가 아니라 크래시와 재큐잉(requeue)을 반영합니다. 상한은 컨슈머에서 적용하고, 상한에 도달하면 confirm을 받는 명시적 퍼블리시로 메시지를 파킹 랏에 옮기십시오.

쿼럼 큐에서도 데드 레터 익스체인지를 사용할 수 있나요?

네, 그리고 쿼럼 큐에는 클래식 큐에 없던 기능이 두 가지 더 있습니다. delivery-limit 정책은 재전달 횟수에 상한을 두고, 이를 초과하면 메시지를 데드 레터링합니다. RabbitMQ 4.0부터 기본값이 20이므로, DLX를 구성하지 않으면 해당 메시지는 삭제됩니다. dead-letter-strategy 정책 키는 at-least-once로 설정할 수 있으며, 이 경우 대상 큐가 confirm할 때까지 데드 레터링된 메시지를 원본 큐에 보관합니다. 이를 위해서는 overflow가 reject-publish여야 합니다. 실패 증거가 복제되도록 원본 큐와 가급적 데드 레터 큐 자체도 쿼럼 큐로 구성해야 합니다.

데드 레터 익스체인지가 존재하지 않으면 어떻게 되나요?

브로커는 큐를 선언하거나 정책을 적용할 때 익스체인지 이름을 검증하지 않으므로, 설정이 아무 경고 없이 받아들여집니다. 기본값인 at-most-once 전략에서는 데드 레터링된 모든 메시지가 오류도, 로그 한 줄도 없이 삭제됩니다. RabbitMQ에서 데이터를 잃는 가장 조용한 방식 중 하나입니다. 쿼럼 큐에서 at-least-once를 사용하면 익스체인지가 생성되고 대상 큐가 confirm할 때까지 데드 레터링된 메시지가 원본 큐에 보관되므로, 대신 원본 큐가 커집니다. DLX와 그 큐는 definitions에 선언하고, DLQ 증가로 이어지지 않는 데드 레터 발생률에는 알림을 설정하십시오.

데드 레터 큐에 TTL을 설정해야 하나요?

아니요. 파킹 랏에 message-ttl을 설정하면 누군가 검사하고 재처리할 수 있도록 일부러 보관한 메시지가 삭제됩니다. 게다가 근본 문제의 해결 여부와는 아무 상관 없는 타이머에 따라 삭제됩니다. 파킹 랏이 작업 큐로 다시 데드 레터링하도록 설정되어 있다면, 만료로 인해 거부가 전혀 없는 순환이 생기고 브로커는 이를 조용히 삭제합니다. 보존은 오래된 메시지를 내구성 있는 스토리지로 옮기고 ack하는 아카이브용 컨슈머로 관리하고, max-length-bytes와 reject-publish로 큐 크기를 제한하며, 깊이와 경과 시간에 알림을 설정하십시오.

Scott Sternloff

저자

Scott Sternloff시니어 엔터프라이즈 아키텍트

AceMQ 시니어 엔터프라이즈 아키텍트. RabbitMQ, Kafka, Redis 아키텍처, 클러스터링, 마이그레이션 등 기술 분야 글을 씁니다.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

무료 상담

RabbitMQ 클러스터, 전문가에게 점검받으세요

프로덕션 장애를 해결하는 중이든, 마이그레이션을 계획 중이든, 아키텍처에 대한 다른 의견이 필요하든 AceMQ 팀이 준비되어 있습니다. 영업 권유 없이 답만 드립니다.

이메일 문의