BlogRedis

Redis jako kolejka komunikatów: czy Redis zastąpi prawdziwego brokera?

Scott Sternloff

Autor: Scott Sternloff, Starszy architekt korporacyjny

LinkedIn · Aktualizacja: · 12 min czytania

Redis jako kolejka komunikatów: czy Redis zastąpi prawdziwego brokera?
On this page

Tak. Kolejka komunikatów w Redis to realna opcja, a można ją zbudować na trzy sposoby: Lists do prostego rozdzielania zadań, Pub/Sub do rozgłaszania typu „wyślij i zapomnij”, które niczego nie przechowuje, oraz Streams do grup konsumentów z potwierdzeniami i dostarczaniem at-least-once. Tylko Streams zachowuje się jak prawdziwy broker. W każdym przypadku rezygnują Państwo z routingu, TTL dla pojedynczych komunikatów, priorytetów i dead-letteringu — funkcji, które ostatecznie trzeba będzie napisać samemu.

Pytanie rzadko brzmi, czy Redis to potrafi. Potrafi. Pytanie brzmi, co się stanie, gdy coś po raz pierwszy zawiedzie.

Lists, Pub/Sub czy Streams — porównanie

ListsPub/SubStreams
WzorzecKolejka zadańRozgłaszanieLog z grupami konsumentów
Zapis w przestrzeni kluczyTakNieTak
Gwarancja dostarczeniaDomyślnie at-most-onceAt-most-onceAt-least-once z grupami
PotwierdzeniaBrak wbudowanychBrakXACK z listą oczekujących
Grupy konsumentówNieNieTak
Odtwarzanie historiiNie — pobrany element znikaNieTak, według zakresu ID
Wielu niezależnych odbiorcówNieTak, każdy dostaje kopięTak, w ramach każdej grupy
Typowe zastosowanieZadania w tleUnieważnianie cache, powiadomieniaPrzetwarzanie zdarzeń wymagające trwałości

Jeśli z tego artykułu ma zostać jedna rzecz, to ta: Pub/Sub gubi komunikaty z założenia i nie jest to błąd. Dokumentacja Redis mówi o tym wprost.

Czy Redis Lists sprawdzą się jako kolejka komunikatów?

Tak — i to najstarszy wzorzec kolejki komunikatów w Redis, wciąż dobra odpowiedź w wielu zastosowaniach związanych z przetwarzaniem zadań w tle.

Producent dodaje element poleceniem LPUSH. Worker blokuje się na BRPOP, które czeka na element zamiast odpytywać. Wiele workerów na tym samym kluczu konkuruje ze sobą, a każdy element trafia do dokładnie jednego z nich. To kolejka zadań w dwóch poleceniach, na infrastrukturze, którą już Państwo utrzymują.

LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0

Tryb awarii jest oczywisty. BRPOP usuwa element i przekazuje go workerowi. Jeśli worker padnie w trakcie przetwarzania, element przepada — nic nie wie, że był w obróbce, i nic nie dostarczy go ponownie.

Zabezpieczeniem jest wzorzec niezawodnej kolejki: zamiast pobierać element, należy atomowo przenieść go do listy przetwarzania danego workera poleceniem BLMOVE (lub starszym BRPOPLPUSH), a po zakończeniu pracy usunąć go z tej listy. Elementy pozostawione na liście przetwarzania można odzyskać.

To działa i wiele systemów produkcyjnych na tym polega. Warto jednak zauważyć, co właściwie powstało: mechanizm potwierdzeń, proces wykrywający porzucone listy przetwarzania i polityka ponowień. To funkcje brokera, które teraz żyją w Państwa aplikacji, są utrzymywane przez Państwa zespół i przetestowane dokładnie na tyle, na ile Państwo je przetestują.

Czy Redis Pub/Sub gwarantuje dostarczenie?

Nie — i to właśnie ten mechanizm najczęściej bierze się za kolejkę komunikatów w Redis, choć najmniej się do tego nadaje.

SUBSCRIBE rejestruje zainteresowanie kanałem, PUBLISH wysyła komunikat do wszystkich aktualnych subskrybentów. Dokumentacja Redis nie pozostawia wątpliwości, co to oznacza:

Pub/Sub w Redis cechuje się semantyką dostarczania at-most-once. Jak wskazuje nazwa, oznacza to, że komunikat zostanie dostarczony raz, o ile w ogóle. Gdy serwer Redis wyśle komunikat, nie ma szans na jego ponowne wysłanie. Jeśli subskrybent nie jest w stanie obsłużyć komunikatu (na przykład z powodu błędu lub zerwania połączenia sieciowego), komunikat jest bezpowrotnie utracony.

Nic nie jest przechowywane. Subskrybent, który się restartuje, jest właśnie wdrażany, na chwilę odcięty od sieci lub po prostu wolny, traci wszystko, co opublikowano w tym czasie — na zawsze i bez żadnego sygnału, że do tego doszło.

Dzięki temu Pub/Sub świetnie sprawdza się w wąskim zakresie zadań: unieważnianie cache, aktualizacje dashboardów na żywo, powiadomienia o obecności — wszędzie tam, gdzie kolejny komunikat sprawia, że pominięty traci znaczenie. Nie nadaje się natomiast do przetwarzania zamówień, płatności ani niczego, z czego ktoś kiedyś poprosi Państwa o rozliczenie.

Dwa przydatne szczegóły. Pub/Sub nie jest powiązany z przestrzenią kluczy, więc komunikat opublikowany w bazie 10 dociera do subskrybenta w bazie 1 — jeśli potrzebne jest rozdzielenie środowisk, warto stosować prefiksy kanałów. W instalacjach klastrowych shardowany Pub/Sub (SSUBSCRIBE, SPUBLISH) ogranicza komunikaty do jednego sharda zamiast propagować je przez magistralę klastra — tak właśnie skaluje się go horyzontalnie.

Czy Redis Streams czynią z Redis prawdziwą kolejkę komunikatów?

To najbliżej, jak się da. Streams to moment, w którym Redis przestaje być strukturą danych, którą da się nagiąć do roli kolejki, a zaczyna być czymś, na czym można rozsądnie oprzeć potok przetwarzania zadań.

XADD dołącza wpis i zwraca uporządkowany w czasie identyfikator w postaci <milliseconds>-<sequence>. Wpisy są przechowywane w przestrzeni kluczy. XREAD może blokować się w oczekiwaniu na nowe wpisy. Konsumenci mogą czytać zakresy historyczne poleceniem XRANGE.

Prawdziwą wartością są grupy konsumentów:

XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0

Każdy wpis trafia do jednego konsumenta w ramach grupy, a wiele grup może niezależnie konsumować ten sam strumień. Dostarczony wpis pozostaje na liście oczekujących wpisów (Pending Entries List) danej grupy, dopóki nie zostanie potwierdzony poleceniem XACK. Zaległości można sprawdzić poleceniem XPENDING. Jeśli konsument padnie z nieobsłużonymi wpisami, inny może je przejąć poleceniem XCLAIM lub XAUTOCLAIM i dokończyć pracę.

Takie połączenie zapewnia dostarczanie at-least-once: nic nie ginie, gdy konsument zawiedzie, ale wpis przetworzony tuż przed awarią może zostać dostarczony ponownie. Konsumenci muszą być idempotentni. To ten sam wymóg, który narzuca każdy broker at-least-once — nie jest to słabość Redis, tylko coś, o czym ludzie zapominają, dopóki nie zobaczą zdublowanych obciążeń kart.

Strumienie rosną w nieskończoność, jeśli się ich nie ograniczy. XADD przyjmuje MAXLEN, a XTRIM zajmuje się tym po fakcie; forma z ~ przycina w przybliżeniu i jest wyraźnie tańsza niż przycinanie dokładne. MINID przycina według ID wpisu, a nie liczby wpisów, co pasuje do retencji opartej na czasie. Wybór trzeba podjąć na etapie projektowania. Nieograniczony strumień w magazynie danych w pamięci to incydent wyczerpania pamięci z opóźnionym zapłonem.

Z czego rezygnuje się w porównaniu z prawdziwym brokerem?

Redis Streams zamykają lukę w gwarancjach dostarczania. Pozostałych luk nie zamykają.

  • Routing. RabbitMQ umieszcza exchange między wydawcami a kolejkami. Exchange'e typu direct, topic, fanout i headers decydują, dokąd trafia komunikat, na podstawie kluczy routingu i atrybutów — w konfiguracji. Redis nie ma odpowiednika: wydawca zapisuje do nazwanego klucza. Każdy routing oparty na treści to kod, który trzeba napisać, i kolejna rzecz, którą trzeba utrzymywać w zgodzie z topologią.
  • TTL dla pojedynczych komunikatów. RabbitMQ obsługuje TTL dla pojedynczych komunikatów za pomocą właściwości expiration oraz dla całych kolejek, a gdy ustawiono oba, stosuje niższą wartość. Dokumentacja uczciwie opisuje nawet pułapkę: „Komunikaty, które wygasły, są faktycznie usuwane dopiero wtedy, gdy dotrą na początek kolejki”. TTL w Redis dotyczą całych kluczy, a nie pojedynczych elementów listy czy wpisów strumienia. Wygaszenie jednego komunikatu bez jego sąsiadów nie jest czymś, co Redis potrafi.
  • Priorytety. RabbitMQ obsługuje kolejki priorytetowe. Redis nie zna pojęcia priorytetu dla elementów listy ani wpisów strumienia. Symulowanie go oznacza wiele kluczy i workery sprawdzające je po kolei, co przywraca problemy z zagłodzeniem, które brokery już dawno rozwiązały.
  • Dead-lettering. RabbitMQ automatycznie kieruje komunikaty do dead-letter przy odrzuceniu, wygaśnięciu TTL, przekroczeniu limitu długości kolejki lub limitu dostarczeń kolejki kworum. Redis Streams dają surowiec — XPENDING pokazuje, co utknęło, a liczba dostarczeń jest śledzona — ale kierowanie zatrutych komunikatów do strumienia kwarantanny, limitowanie ponowień i alertowanie to w całości Państwa kod.
  • Liczenie dostarczeń i polityka ponowień. Kwestia pokrewna, ale warta osobnego omówienia: broker daje limit dostarczeń jako ustawienie. W Redis trzeba odczytać licznik i zdecydować, co z nim zrobić — wszędzie, spójnie i na zawsze.

Nic z tego nie oznacza, że Redis jest złym wyborem. Oznacza, że wybór jest kompromisem: przejmują Państwo odpowiedzialność za funkcje, które gdzie indziej dostaje się za darmo, w zamian za brak kolejnego systemu do utrzymania.

Na co uważać w kwestii persystencji?

Redis to magazyn danych w pamięci, który zapisuje dane na dysk. To, ile się traci podczas awarii, jest decyzją konfiguracyjną, a warto znać liczby publikowane przez sam Redis.

  • RDB wykonuje snapshoty stanu w skonfigurowanych punktach zapisu. Dokumentacja Redis mówi wprost o ryzyku: „zwykle tworzy się snapshot RDB co pięć minut lub rzadziej, więc na wypadek, gdyby Redis z jakiegokolwiek powodu przestał działać bez prawidłowego zamknięcia, trzeba być przygotowanym na utratę danych z ostatnich minut”. Tworzenie snapshotu wymaga też forka procesu, a przy dużym zbiorze danych ten fork może na chwilę wstrzymać serwer — to realny efekt operacyjny, który omawiamy wraz z innymi trybami awarii w materiałach o wysokiej dostępności Redis.
  • AOF zapisuje w logu każde polecenie zapisu i oferuje trzy polityki fsync. appendfsync always jest najbezpieczniejsza i najwolniejsza. appendfsync everysec to sugerowane ustawienie domyślne, a Redis podaje, że „w razie katastrofy można stracić 1 sekundę danych”. appendfsync no pozostawia to jądru systemu.

Zalecenie Redis brzmi: jeśli potrzebna jest trwałość porównywalna z relacyjną bazą danych, należy używać obu mechanizmów. Dla kolejkowania wynikają z tego dwie konsekwencje:

  1. Komunikat potwierdzony producentowi niekoniecznie jest już na dysku. Przy everysec w każdej chwili może istnieć do sekundy przyjętej, ale jeszcze niezapisanej pracy.
  2. Replikacja jest asynchroniczna. Awaria serwera głównego może spowodować utratę zapisów, które zostały potwierdzone, ale jeszcze nie zreplikowane — to ten sam kompromis na rzecz szybkości, na który Redis decyduje się wszędzie.

Jeśli wymaganie brzmi „tego komunikatu nie wolno stracić”, Redis da się skonfigurować blisko tego poziomu, ale płaci się za to opóźnieniami, a konfigurację należy zweryfikować, a nie zakładać.

Kiedy Redis jest naprawdę właściwym wyborem?

Redis do kolejkowania warto wybrać, gdy:

  • Redis już jest w Państwa architekturze, a dodanie brokera oznacza dodatkowe zobowiązanie operacyjne
  • Topologia jest prosta — producenci i jedna pula workerów, bez routingu opartego na treści
  • Opóźnienia są ważniejsze niż gwarancje dostarczania, a ponowne uruchomienie utraconego zadania jest akceptowalne
  • Wolumen jest duży, a komunikaty krótkotrwałe — do tego właśnie stworzono magazyn danych w pamięci
  • Zespół jest gotów utrzymywać logikę potwierdzeń, ponowień i dead-letter w kodzie aplikacji

RabbitMQ warto wybrać, gdy:

  • Routing nie jest trywialny i wolą go Państwo skonfigurować, a nie oprogramować
  • Potrzebne są TTL dla pojedynczych komunikatów, priorytety lub dead-lettering jako funkcje brokera
  • Gwarancje dostarczania pojawiają się w dokumencie zgodności lub w umowie z klientem
  • Różni konsumenci potrzebują różnych podzbiorów komunikatów tego samego wydawcy
  • Chcą Państwo mieć narzędzia operacyjne — interfejs zarządzania, metryki dla poszczególnych kolejek, polityki — bez ich budowania

Te opcje się nie wykluczają, a w praktyce najmocniejsze architektury korzystają z obu: Redis do cache, limitowania ruchu, stanu efemerycznego i szybkiego rozsyłania w obrębie procesów, RabbitMQ do komunikatów z gwarancjami. Ten podział opisaliśmy w artykule Redis i RabbitMQ razem.

Warto mieć na uwadze jeszcze dwa porównania. Jeśli obciążenie to log zdarzeń typu append-only, który wielu niezależnych konsumentów odtwarza we własnym tempie, zarówno Redis Streams, jak i RabbitMQ mają niewłaściwy kształt — zob. RabbitMQ Streams vs Apache Kafka. A jeśli porównują Państwo broker open source z komercyjnym pod kątem gwarantowanego dostarczania, ten temat omawia artykuł IBM MQ vs RabbitMQ.

Najczęstszy wzorzec porażki, jaki obserwujemy, to nie wybór Redis. To wybór Redis Pub/Sub do pracy, która wymagała Streams, albo wybór Lists i odkrycie po trzech latach narosłej logiki potwierdzeń, której nikt nie chce dotykać. Należy wybrać mechanizm odpowiadający gwarancji, której naprawdę Państwo potrzebują, i zapisać, który wybrano.

Rozmowa z AceMQ o Redis i RabbitMQ

Nie mają Państwo pewności, czy Redis nie dźwiga więcej odpowiedzialności za kolejkowanie, niż powinien? AceMQ pracuje po obu stronach — wsparcie techniczne i doradztwo Redis oraz doradztwo RabbitMQ. Prosimy o kontakt z inżynierem AceMQ.

FAQ

Czy Redis może służyć jako kolejka komunikatów?

Tak. Redis oferuje trzy mechanizmy — Lists dla prostych kolejek zadań, Pub/Sub dla rozgłaszania typu „wyślij i zapomnij” oraz Streams dla grup konsumentów z dostarczaniem at-least-once. Streams to mechanizm, który najbardziej przypomina brokera. To, czy wystarczy, zależy od tego, czego Państwo potrzebują poza samym dostarczaniem.

Czy Redis jest brokerem komunikatów?

Nie w takim sensie jak RabbitMQ. Redis udostępnia struktury danych, na których można zbudować kolejkowanie. Nie ma routingu opartego na exchange'ach, TTL dla pojedynczych komunikatów w kolejce, kolejek priorytetowych ani wbudowanego mechanizmu dead-letter. To funkcje brokera, które w Redis stają się kodem aplikacji.

Czym różnią się Redis Pub/Sub i Redis Streams?

Pub/Sub działa w trybie at-most-once i niczego nie przechowuje. Dokumentacja Redis sama stwierdza, że jeśli subskrybent nie może obsłużyć komunikatu, „komunikat jest bezpowrotnie utracony”. Streams przechowują wpisy w przestrzeni kluczy, obsługują grupy konsumentów z potwierdzeniami i zapewniają dostarczanie at-least-once. Jeśli utrata komunikatu ma znaczenie, ta różnica przesądza o całej decyzji.

Czy Redis Pub/Sub zapisuje komunikaty?

Nie. Opublikowane komunikaty trafiają do tych, którzy subskrybują kanał w danej chwili, i znikają. Subskrybent, który jest rozłączony, restartuje się lub jest chwilowo przeciążony, traci wszystko, co opublikowano w tym czasie, bez możliwości odzyskania.

Jak działają grupy konsumentów w Redis Streams?

Grupę tworzy się poleceniem XGROUP CREATE, a następnie każdy konsument czyta poleceniem XREADGROUP ze specjalnym identyfikatorem > dla nowych wpisów. Dostarczone, ale niepotwierdzone wpisy pozostają na liście oczekujących wpisów (Pending Entries List) aż do XACK. Jeśli konsument padnie, inny może przejąć jego oczekujące wpisy poleceniem XCLAIM lub XAUTOCLAIM. To właśnie umożliwia dostarczanie at-least-once.

Czy Redis może gubić komunikaty?

Tak, a to, ile, zależy od konfiguracji persystencji. Snapshoty RDB odzwierciedlają stan w danym momencie, dlatego dokumentacja Redis ostrzega, że po nieprawidłowym zatrzymaniu trzeba być przygotowanym na utratę danych z ostatnich minut. Przy AOF i domyślnym appendfsync everysec Redis podaje, że można stracić jedną sekundę danych. Komunikaty Pub/Sub w ogóle nie są zapisywane.

Czy Redis jest szybszy od RabbitMQ?

W przypadku surowych operacji w pamięci — zasadniczo tak, bo do tego służy magazyn danych w pamięci. To porównanie jest jednak mylące, ponieważ zwykle zestawia się niepotwierdzony zapis do pamięci z trwałym, routowanym i potwierdzanym dostarczeniem. Gdy doda się persystencję i potwierdzenia, aby oba rozwiązania były równoważne, różnica znacznie się zmniejsza.

Kiedy do kolejkowania lepiej użyć Redis niż RabbitMQ?

Gdy praca polega na prostym rozdzielaniu zadań między workery, Redis już jest w Państwa stosie, routing sprowadza się do jednego producenta i jednej puli konsumentów, a utratę zadania w razie awarii można naprawić, uruchamiając je ponownie. Po RabbitMQ warto sięgnąć, gdy potrzebne są reguły routingu, TTL dla pojedynczych komunikatów, priorytety, dead-lettering lub gwarancje dostarczania, które można wpisać do dokumentu zgodności.

Źródła

Scott Sternloff

Autor

Scott SternloffStarszy architekt korporacyjny

Starszy architekt korporacyjny w AceMQ. Odpowiada za treści techniczne: architekturę RabbitMQ, Kafka i Redis, klastrowanie i migracje.

Talk to an engineer

Need a hand with Redis?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Poradniki, porównania i analizy

Więcej na temat: Redis

Bezpłatna konsultacja

Niech eksperci przyjrzą się Państwa wdrożeniu Redis

Niezależnie od tego, czy rozwiązują Państwo incydent produkcyjny, planują migrację, czy chcą poznać drugą opinię o architekturze – nasz zespół jest gotowy. Bez sprzedażowych prezentacji, same odpowiedzi.

Napisz do nas