이 페이지의 내용
한 단락으로 보는 스트림
한 단락으로 보는 스트림
스트림은 컨슈머가 메시지를 제거하지 않고 읽는, 복제되는 추가 전용(append-only) 로그입니다. 팬아웃, 재생, 고처리량, 대량 백로그에는 스트림을 쓰고, 데드 레터링, TTL, 우선순위, fsync 수준의 내구성이 필요하다면 쿼럼 큐를 쓰십시오. x-queue-type을 stream으로 설정해 선언하고, 첫날부터 max-age 또는 max-length-bytes를 설정하며, 모든 컨슈머에 prefetch와 오프셋을 지정하고, 홀수 개의 노드에서 운영하고, 레플리카는 직접 관리하십시오. 그리고 confirm은 디스크에 플러시되었다는 뜻이 아니라 복제되었다는 뜻임을 기억하십시오.
RabbitMQ 스트림이란
스트림은 RabbitMQ 안에서 클래식 큐, 쿼럼 큐와 나란히 존재하는 영속적이고 복제되는 추가 전용 로그입니다. 차이는 메시지가 빠져나가는 방식에 있습니다. 빠져나가지 않는다는 것입니다. 큐에서 소비하면 메시지가 제거되지만, 스트림에서 소비하면 해당 컨슈머의 위치만 이동합니다. 따라서 보존 정책으로 만료될 때까지 컨슈머 몇 개든 같은 메시지를 원하는 만큼 반복해서 읽을 수 있습니다. RabbitMQ 문서는 이를 비파괴적(non-destructive) 소비 시맨틱이라고 부릅니다. 스트림은 항상 내구성이 있고 항상 복제되며, 임시(transient) 변형은 없습니다.
스트림이 맞는 경우와 맞지 않는 경우
스트림은 큐 유형이 잘 처리하지 못하는 네 가지 경우를 위해 만들어졌습니다. 대규모 팬아웃(컨슈머마다 큐를 두지 않고 많은 컨슈머가 같은 메시지를 읽는 경우), 재생(로그의 임의 지점에 붙어 그곳부터 읽는 경우), 처리량(로그 기반 시스템과 경쟁하는 것이 설계 목표였습니다), 대량 백로그(큐는 비어 있는 상태로 수렴하도록 최적화되어 있지만, 스트림은 최소한의 메모리로 수백만 개의 메시지를 저장합니다)입니다.
큐 기능이 필요하다면 스트림은 맞지 않는 유형입니다. 스트림은 데드 레터 익스체인지, 메시지 TTL, 큐 길이 제한, 메시지 또는 컨슈머 우선순위, 배타적(exclusive) 선언이나 비내구성 선언을 지원하지 않으며, 문서는 비파괴적 읽기 모델 때문에 이 중 상당수가 앞으로도 지원되지 않을 것이라고 명시합니다. 워크로드가 재시도와 데드 레터링을 동반하는 작업 분배라면 쿼럼 큐가 맞습니다.
RabbitMQ 스트림과 큐 비교:
| 큐(쿼럼 또는 클래식) | 스트림 | |
|---|---|---|
| 메시지를 읽는 방식 | 파괴적: 확인(ack)된 메시지는 제거됨 | 비파괴적: 컨슈머가 오프셋부터 읽고 메시지는 남음 |
| 여러 컨슈머가 같은 데이터를 읽는 경우 | 컨슈머마다 큐 하나, 각자 사본 보유 | 스트림 하나, 컨슈머 수 제한 없음 |
| 재생 | 불가 | 가능, 보존 기간 안에 있는 모든 오프셋에서 |
| 메시지가 유지되는 기간 | 소비될 때까지, 또는 TTL이나 길이 제한으로 제거될 때까지 | max-age 또는 max-length-bytes로 만료될 때까지 |
| 데드 레터링, 메시지 TTL, 우선순위 | 쿼럼 큐에서 지원 | 지원하지 않음 |
| 대량 백로그 | 비어 있는 상태로 수렴하도록 설계됨 | 수백만 개의 메시지를 보관하도록 설계됨 |
스트림 선언과 보존 설정
x-queue-type 인수를 stream으로 설정해 큐를 선언합니다. 유형은 선언 시점에 클라이언트가 지정해야 하며, 정책으로 설정하거나 변경할 수 없습니다. 스트림도 AMQP 0.9.1 큐이므로 일반 큐처럼 어떤 익스체인지에든 바인딩됩니다.
추가 전용 로그는 디스크가 가득 찰 때까지 커지므로, 보존 설정은 첫날부터 해야 합니다. 함께 쓸 수 있고 정책으로 변경할 수 있는 설정이 두 가지 있습니다. max-age(단위 Y, M, D, h, m, s. 예를 들어 7D는 1주일)와 max-length-bytes입니다. 보존은 세그먼트 파일 단위로 평가되며 기본 세그먼트 크기는 500 MB입니다. 따라서 스트림은 항상 최소 한 개의 세그먼트를 유지하고, 설정한 한도를 최대 세그먼트 하나만큼 초과할 수 있습니다. 디스크는 한도만이 아니라 한도에 스트림당 세그먼트 하나를 더한 크기로 산정하십시오.
소비: 오프셋, prefetch, 확인(ack)
컨슈머는 x-stream-offset 인수로 시작 위치를 선택합니다. first, last(마지막으로 기록된 청크), next(기본값: 새 메시지만), 숫자 오프셋, 타임스탬프, 또는 1h 같은 간격을 지정할 수 있습니다. 타임스탬프는 청크 경계로 해석되므로, 컨슈머는 요청한 시각보다 조금 이전에 발행된 메시지를 받을 수도 있습니다.
큐에서 넘어오는 팀이 자주 걸리는 규칙이 두 가지 있습니다. 컨슈머는 반드시 QoS prefetch를 설정해야 하며, 확인(ack)도 필수입니다. 스트림에서 ack는 컨슈머의 오프셋을 전진시키는 크레딧 역할을 합니다. 그리고 global QoS는 지원되지 않습니다. global prefetch가 설정된 채널에서 스트림을 소비하면 채널 오류가 반환됩니다. 컨슈머별 prefetch를 사용하십시오.
AMQP 0.9.1인가, 스트림 프로토콜인가
큐 인수와 컨슈머 인수를 전달할 수 있는 AMQP 0.9.1 클라이언트라면 어떤 것이든 스트림을 사용할 수 있습니다. 그래도 RabbitMQ 팀은 두 가지 이유로 전용 바이너리 스트림 프로토콜과 그 클라이언트를 권장합니다. 처리량이 가장 좋고, 일부 기능은 그쪽에만 있기 때문입니다. 브로커 측 오프셋 추적이 그중 하나로, 스트림 플러그인을 통해서만 사용할 수 있으며 오프셋은 메시지가 아닌 데이터로 스트림 자체에 저장됩니다. 퍼블리셔 중복 제거도 그렇습니다. 엄격히 증가하는 발행 ID를 가진 이름 있는 프로듀서를 쓰면, 장애 후 다시 전송된 메시지를 브로커가 걸러 낼 수 있습니다. 단, 한 번에 하나의 프로듀서 인스턴스만 그 이름을 사용해야 합니다.
알아 둘 부작용이 하나 있습니다. 메시지는 AMQP 1.0 데이터로 저장되므로, 배열이나 테이블 같은 복합 값을 가진 AMQP 0.9.1 헤더는 변환되지 않습니다.
슈퍼 스트림과 단일 활성 컨슈머
슈퍼 스트림은 여러 개의 일반 스트림으로 파티셔닝된 논리 스트림으로, 스토리지와 트래픽을 클러스터 노드에 분산합니다. 클라이언트 라이브러리는 이를 하나의 스트림으로 보여 줍니다. 이름 있는 그룹에서 하나의 인스턴스만 메시지를 받고, 그 인스턴스가 멈추면 다른 인스턴스가 이어받는 단일 활성 컨슈머(single active consumer)와 결합하면, 페일오버를 갖춘 파티션별 순서 처리가 가능합니다. 둘 다 RabbitMQ 3.11에서 도입되었습니다. CLI로 토폴로지를 한 줄에 만들 수 있습니다. rabbitmq-streams add_super_stream invoices --partitions 3
문서 스스로의 조언은 절제입니다. 슈퍼 스트림은 복잡성을 더하므로, 단일 스트림이 한계에 도달한 뒤에만 사용해야 합니다.
스트림 운영: 레플리카, 쿼럼, 메모리
스트림은 쿼럼 시스템이므로 클러스터 크기는 홀수로 하십시오. 3노드는 1대 장애를, 5노드는 2대 장애를 견디며, 2노드 클러스터는 한 대의 장애도 견디지 못합니다. 레플리카 구성은 운영자가 관리합니다. 클러스터에 추가된 노드는 rabbitmq-streams add_replica를 실행하기 전까지 스트림 레플리카를 호스팅하지 않으며, 해제하는 노드는 호스팅하는 모든 스트림에서 delete_replica로 제거해야 합니다. 복제 상태는 rabbitmq-streams stream_status로 확인합니다. 노드를 교체할 때는 새 노드를 추가하고, 동기화될 때까지 기다린 다음, 기존 노드를 제거하십시오. 다른 레플리카가 동기화되지 않은 동안에는 레플리카를 추가할 수 없습니다.
스트림은 브로커에서 RAM을 적게 쓰지만 커널 페이지 캐시에 크게 의존합니다. 컨테이너에서는 이 페이지 캐시가 메모리 한도에 포함되며, 정상적인 스트림 워크로드인데도 파드가 OOM으로 종료되는 원인이 바로 이것입니다. 또한 스트림은 메모리 알람에 반응하지 않습니다. 가능한 한 가장 빠른 디스크를 쓰십시오. 메시지 크기와 레플리카 수가 늘수록 처리량은 떨어집니다.
데이터 안전성: 스트림에서 publisher confirm의 의미
스트림에서 confirm은 메시지가 레플리카의 쿼럼에 복제되었다는 뜻입니다. 디스크에 플러시되었다는 뜻은 아닙니다. 스트림은 디스크에 쓰지만 fsync는 하지 않고 운영체제에 맡깁니다. 따라서 비정상 종료 시 해당 노드의 최근 데이터가 유실될 수 있으며, 이는 보통 다른 노드로부터 다시 복제됩니다. 문서의 안내는 분명합니다. 더 강한 보장이 필요하다면, 쿼럼이 기록하고 플러시한 뒤에만 confirm하는 쿼럼 큐를 쓰라는 것입니다. confirm 없이 발행된 메시지는 아무런 보장도 받지 못합니다.
스트림을 운영할 수 없는 곳
설계 전에 플랫폼부터 확인하십시오. Amazon MQ for RabbitMQ는 스트림을 지원하지 않으며, 문서에서 스트림을 생성하면 데이터가 유실된다고 경고합니다. 스트림에는 자체 운영 RabbitMQ, 전문 호스팅 업체, 또는 고객 계정 안의 브로커를 대신 운영해 주는 서비스가 필요합니다.
자주 묻는 질문
RabbitMQ 스트림과 큐의 차이는 무엇인가요?
큐는 컨슈머가 메시지를 확인(ack)하면 제거하므로 각 메시지는 한 번 처리되고 큐는 비워집니다. 스트림은 보존 정책으로 만료될 때까지 메시지를 유지하고 컨슈머는 오프셋부터 읽으므로, 여러 컨슈머가 같은 메시지를 읽고 재생할 수 있습니다. 큐에는 데드 레터링, TTL, 우선순위가 있지만 스트림에는 없습니다.
RabbitMQ 스트림이란 무엇인가요?
RabbitMQ 안의 영속적이고 복제되는 추가 전용 로그입니다. 컨슈머가 메시지를 제거하지 않고 읽으므로, 여러 컨슈머가 같은 데이터를 읽고 보존 정책으로 만료될 때까지 어떤 오프셋에서든 다시 읽을 수 있습니다. x-queue-type을 stream으로 설정해 선언합니다.
쿼럼 큐 대신 스트림을 써야 하는 경우는 언제인가요?
대규모 팬아웃, 재생, 매우 높은 처리량, 대량 백로그에는 스트림을 쓰십시오. 데드 레터링, TTL, 우선순위, 또는 가장 강한 내구성이 필요한 작업 분배에는 쿼럼 큐를 쓰십시오. 쿼럼 큐는 쿼럼이 디스크에 플러시한 뒤에만 confirm하지만, 스트림은 fsync를 하지 않기 때문입니다.
RabbitMQ 스트림이 디스크를 가득 채우지 않게 하려면 어떻게 하나요?
큐 인수나 정책으로 max-age, max-length-bytes, 또는 둘 다를 설정해 보존 정책을 지정하십시오. 보존은 세그먼트 단위로 적용되고 기본 세그먼트 크기는 500 MB이므로, 스트림마다 최소 세그먼트 하나만큼의 여유 공간을 확보하십시오.
RabbitMQ 스트림은 데드 레터 익스체인지나 TTL을 지원하나요?
아니요. 스트림은 데드 레터 익스체인지, 메시지 TTL, 큐 길이 제한, 우선순위, 배타적 선언 및 비내구성 선언을 지원하지 않습니다. TTL과 길이 제한은 보존 설정이 대신합니다.
Amazon MQ는 RabbitMQ 스트림을 지원하나요?
아니요. Amazon MQ 개발자 가이드에는 스트림이 지원되지 않으며, 스트림을 생성하면 데이터가 유실된다고 명시되어 있습니다.