Poradnik · RabbitMQ

Przewodnik po strumieniach RabbitMQ

Strumienie to trzeci typ kolejki w RabbitMQ i ten, który najczęściej wybiera się z niewłaściwych powodów. Ten przewodnik omawia je w kolejności, w jakiej spotyka się je na produkcji: czym są, kiedy pasują, jak działają retencja i offsety, jak je eksploatować i czego nie gwarantują. Każde opisane zachowanie pochodzi z dokumentacji RabbitMQ 4.3, zweryfikowanej 20 września 2026 r.

Tyler Eastridge

Autor: Tyler Eastridge, Dyrektor ds. operacyjnych

LinkedIn · Aktualizacja: · 6 min czytania · Sekcje: 9

Na tej stronie

Strumienie w jednym akapicie

Strumienie w jednym akapicie

Strumień to replikowany dziennik typu append-only, który konsumenci czytają bez usuwania komunikatów. Należy go używać do fan-outu, odtwarzania (replay), wysokiej przepustowości i dużych zaległości; kolejki kworum — gdy potrzebny jest dead-lettering, TTL, priorytety lub trwałość na poziomie fsync. Strumień deklaruje się z x-queue-type ustawionym na stream; od pierwszego dnia trzeba ustawić max-age lub max-length-bytes, każdemu konsumentowi nadać prefetch i offset, uruchamiać go na nieparzystej liczbie węzłów, samodzielnie zarządzać replikami i pamiętać, że potwierdzenie oznacza replikację, a nie zapis na dysk.

Czym jest strumień RabbitMQ

Strumień to trwały, replikowany dziennik typu append-only, który w RabbitMQ funkcjonuje obok kolejek klasycznych i kolejek kworum. Różnica polega na tym, jak komunikaty go opuszczają: nie opuszczają go wcale. Konsumpcja z kolejki usuwa komunikat; konsumpcja ze strumienia przesuwa jedynie pozycję danego konsumenta, więc dowolna liczba konsumentów może czytać te same komunikaty dowolnie wiele razy, dopóki nie usunie ich retencja. Dokumentacja RabbitMQ nazywa to niedestrukcyjną semantyką konsumpcji. Strumienie są zawsze trwałe i zawsze replikowane; nie istnieje wariant nietrwały.

Kiedy strumień jest właściwym typem, a kiedy nie

Strumienie powstały z myślą o czterech przypadkach, z którymi typy kolejek radzą sobie słabo: duży fan-out (wielu konsumentów czytających te same komunikaty bez osobnej kolejki dla każdego), odtwarzanie (podłączenie w dowolnym miejscu dziennika i czytanie od tego punktu), przepustowość (celem projektowym była konkurencja z systemami opartymi na dziennikach) oraz duże zaległości (kolejki są zoptymalizowane pod opróżnianie się do zera; strumienie przechowują miliony komunikatów przy minimalnym zużyciu pamięci).

Są złym wyborem, gdy potrzebne są funkcje kolejek. Strumienie nie obsługują dead letter exchange'y, TTL komunikatów, limitów długości kolejki, priorytetów komunikatów ani konsumentów, wyłączności ani deklaracji nietrwałej, a dokumentacja wprost mówi, że wiele z tych funkcji nigdy nie będzie obsługiwanych ze względu na niedestrukcyjny model odczytu. Jeśli obciążenie polega na dystrybucji pracy z ponowieniami i dead-letteringiem, potrzebna jest kolejka kworum.

Strumień a kolejka RabbitMQ — porównanie:

Kolejka (kworum lub klasyczna)Strumień
Sposób odczytu komunikatówDestrukcyjny: potwierdzony komunikat jest usuwanyNiedestrukcyjny: konsumenci czytają od offsetu, a komunikat pozostaje
Wielu konsumentów, te same daneOsobna kolejka dla każdego konsumenta, każda z własną kopiąJeden strumień, dowolna liczba konsumentów
OdtwarzanieNieTak, od dowolnego offsetu, który wciąż mieści się w retencji
Jak długo komunikaty pozostająDo konsumpcji albo do usunięcia przez TTL lub limit długościDo wygaśnięcia przez max-age lub max-length-bytes
Dead-lettering, TTL komunikatów, priorytetyObsługiwane w kolejkach kworumNieobsługiwane
Duże zaległościZaprojektowane pod opróżnianie się do zeraZaprojektowane do przechowywania milionów komunikatów

Deklarowanie strumienia i ustawianie retencji

Kolejkę deklaruje się z argumentem x-queue-type ustawionym na stream. Typ musi podać klient przy deklaracji; nie można go ustawić ani zmienić polityką. Strumień nadal jest kolejką AMQP 0.9.1, więc można go powiązać z dowolnym exchange'em tak jak kolejkę.

Retencję trzeba ustawić od pierwszego dnia, ponieważ dziennik append-only rośnie, dopóki dysk się nie zapełni. Służą do tego dwa ustawienia, które można stosować łącznie i zmieniać polityką: max-age (jednostki Y, M, D, h, m, s, więc 7D to tydzień) oraz max-length-bytes. Retencja jest oceniana dla każdego pliku segmentu, a domyślny rozmiar segmentu to 500 MB, więc strumień zawsze zachowuje co najmniej jeden segment i może przekraczać skonfigurowany limit maksymalnie o jeden segment. Dysk należy wymiarować na limit plus jeden segment na strumień, a nie na sam limit.

Konsumpcja: offsety, prefetch i potwierdzenia

Konsument wybiera miejsce startu argumentem x-stream-offset: first, last (ostatni zapisany fragment, tzw. chunk), next (domyślnie: tylko nowe komunikaty), offset liczbowy, znacznik czasu lub interwał, np. 1h. Znaczniki czasu są zaokrąglane do granic chunków, więc konsument może otrzymać komunikaty opublikowane nieco wcześniej niż czas, o który prosił.

Dwie zasady zaskakują zespoły przechodzące z kolejek. Konsumenci muszą ustawić prefetch QoS, a potwierdzenia są wymagane: w strumieniu ack działa jak kredyt, który przesuwa offset konsumenta. Ponadto globalne QoS nie jest obsługiwane; konsumpcja ze strumienia na kanale z globalnym prefetchem kończy się błędem kanału. Należy używać prefetchu na poziomie konsumenta.

Docelowe czasy reakcji od 15 minut, zależnie od planu. Przypisani starsi inżynierowie.

Kontakt

AMQP 0.9.1 czy protokół strumieni

Strumienia może używać każdy klient AMQP 0.9.1, który potrafi przekazać argumenty kolejki i konsumenta. Zespół RabbitMQ nadal zaleca dedykowany binarny protokół strumieni i jego klientów z dwóch powodów: zapewnia on najwyższą przepustowość, a niektóre funkcje są dostępne tylko w nim. Jedną z nich jest śledzenie offsetów po stronie brokera: działa ono wyłącznie przez wtyczkę stream, a offsety są przechowywane w samym strumieniu jako dane niebędące komunikatami. Drugą jest deduplikacja po stronie wydawcy: nazwany producent ze ściśle rosnącym identyfikatorem publikacji pozwala brokerowi odfiltrować komunikaty wysłane ponownie po awarii, pod warunkiem że danej nazwy w danym momencie używa tylko jedna instancja producenta.

Jeden efekt uboczny warto znać: komunikaty są przechowywane jako dane AMQP 1.0, więc nagłówki AMQP 0.9.1 o złożonych wartościach, takich jak tablice czy tabele, nie są konwertowane.

Super streams i single active consumer

Super stream to logiczny strumień podzielony na partycje w postaci kilku zwykłych strumieni, co rozkłada przechowywanie danych i ruch na węzły klastra. Biblioteki klienckie prezentują go jako jeden strumień. W połączeniu z single active consumer, w którym komunikaty otrzymuje tylko jedna instancja z nazwanej grupy, a gdy przestanie działać, jej miejsce zajmuje inna, uzyskuje się uporządkowane przetwarzanie w ramach partycji z przełączaniem awaryjnym. Obie funkcje pojawiły się w RabbitMQ 3.11. CLI tworzy taką topologię jednym poleceniem: rabbitmq-streams add_super_stream invoices --partitions 3.

Sama dokumentacja zaleca powściągliwość: super streams zwiększają złożoność i należy po nie sięgać dopiero wtedy, gdy pojedynczy strumień osiągnie swoje granice.

Eksploatacja strumieni: repliki, kworum i pamięć

Strumienie to systemy kworum, więc należy stosować nieparzyste rozmiary klastrów: trzy węzły tolerują jedną awarię, pięć — dwie, a klaster dwuwęzłowy nie toleruje żadnej. Członkostwem replik zarządza operator. Węzeł dodany do klastra nie hostuje żadnych replik strumieni, dopóki nie zostanie uruchomione rabbitmq-streams add_replica, a węzeł wycofywany z eksploatacji trzeba usunąć poleceniem delete_replica z każdego strumienia, który hostuje. Stan replikacji sprawdza się poleceniem rabbitmq-streams stream_status. Przy wymianie węzła należy dodać nowy, poczekać na jego synchronizację, a dopiero potem usunąć stary; nie można dodać repliki, gdy inna nie jest zsynchronizowana.

Strumienie zużywają niewiele pamięci RAM w brokerze, ale mocno polegają na pamięci podręcznej stron jądra (page cache). W kontenerach ta pamięć podręczna wlicza się do limitu pamięci i właśnie w ten sposób zdrowe obciążenie strumieniowe kończy się zabiciem poda przez OOM. Strumienie nie reagują też na alarmy pamięci. Należy używać najszybszych dostępnych dysków; przepustowość spada wraz ze wzrostem rozmiaru komunikatów i liczby replik.

Bezpieczeństwo danych: co oznacza potwierdzenie wydawcy w strumieniu

Potwierdzenie w strumieniu oznacza, że komunikat został zreplikowany do kworum replik. Nie oznacza, że został zapisany na dysk: strumienie zapisują dane na dysk, ale nie wykonują fsync, pozostawiając to systemowi operacyjnemu. Niekontrolowane wyłączenie może więc doprowadzić do utraty najnowszych danych na danym węźle, które zwykle są ponownie replikowane z pozostałych. Wskazówka dokumentacji jest jednoznaczna: jeśli potrzebne są silniejsze gwarancje, należy używać kolejek kworum, które potwierdzają dopiero po zapisaniu i utrwaleniu danych przez kworum. Komunikaty publikowane bez potwierdzeń nie mają żadnej gwarancji.

Gdzie nie da się ich uruchomić

Platformę należy sprawdzić przed projektem. Amazon MQ for RabbitMQ nie obsługuje strumieni, a jego dokumentacja ostrzega, że utworzenie strumienia spowoduje utratę danych. Strumienie wymagają RabbitMQ zarządzanego samodzielnie, wyspecjalizowanego dostawcy hostingu lub brokerów na Państwa własnym koncie, eksploatowanych w Państwa imieniu.

Najczęściej zadawane pytania

Czym różni się strumień RabbitMQ od kolejki?

Kolejka usuwa komunikat, gdy konsument go potwierdzi, więc każdy komunikat jest przetwarzany raz, a kolejka się opróżnia. Strumień przechowuje komunikaty do czasu ich wygaśnięcia przez retencję, a konsumenci czytają od offsetu, więc wielu konsumentów może czytać te same komunikaty i je odtwarzać. Kolejki mają dead-lettering, TTL i priorytety; strumienie nie.

Czym jest strumień RabbitMQ?

To trwały, replikowany dziennik typu append-only wewnątrz RabbitMQ. Konsumenci czytają go bez usuwania komunikatów, więc wielu konsumentów może czytać te same dane i ponownie je odczytywać od dowolnego offsetu, dopóki nie wygaśnie retencja. Strumień deklaruje się, ustawiając x-queue-type na stream.

Kiedy używać strumienia zamiast kolejki kworum?

Strumień sprawdzi się przy dużym fan-oucie, odtwarzaniu, bardzo wysokiej przepustowości lub dużych zaległościach. Kolejka kworum jest właściwa do dystrybucji pracy wymagającej dead-letteringu, TTL, priorytetów lub najsilniejszej trwałości, ponieważ kolejki kworum potwierdzają dopiero po zapisaniu danych na dysk przez kworum, a strumienie nie wykonują fsync.

Jak zapobiec zapełnieniu dysku przez strumień RabbitMQ?

Należy ustawić retencję za pomocą max-age, max-length-bytes lub obu tych parametrów, przez argument kolejki lub politykę. Retencja jest stosowana per segment, a domyślny segment ma 500 MB, więc trzeba przewidzieć zapas co najmniej jednego dodatkowego segmentu na strumień.

Czy strumienie RabbitMQ obsługują dead letter exchange'e lub TTL?

Nie. Strumienie nie obsługują dead letter exchange'y, TTL komunikatów, limitów długości kolejki, priorytetów ani deklaracji wyłącznych i nietrwałych. TTL i limity długości zastępują ustawienia retencji.

Czy Amazon MQ obsługuje strumienie RabbitMQ?

Nie. Przewodnik dla deweloperów Amazon MQ stwierdza, że strumienie nie są obsługiwane, a utworzenie strumienia spowoduje utratę danych.

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa klastrowi RabbitMQ

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas