On this page
Dead-lettering to sposób, w jaki RabbitMQ przenosi komunikat, którego nie może już dostarczyć, w miejsce, gdzie da się nim zająć. Dobrze skonfigurowany zamienia błędny ładunek w zgłoszenie do obsłużenia. Źle skonfigurowany jest najczęstszą przyczyną, z jaką spotykamy się w praktyce, znikania komunikatów produkcyjnych bez śladu. Ten przewodnik opisuje działanie mechanizmu w RabbitMQ 3.13 i 4.x, oparte na nim wzorce ponowień oraz nawyki operacyjne, dzięki którym kolejka dead-letter spełnia swoją rolę.
Czym dokładnie jest dead-lettering
Kolejka kieruje komunikat do dead-letteringu z dokładnie czterech powodów:
- Konsument odrzucił go przez
basic.rejectlubbasic.nackzrequeue=false. - Wygasł jego TTL komunikatu albo
message-ttlkolejki. - Kolejka przekroczyła limit
max-lengthlubmax-length-bytesi usunęła komunikat z początku. To domyślne zachowanie przy przepełnieniu,drop-head; przyreject-publishbroker zamiast tego odrzuca nową publikację i nic nie trafia do dead-letteringu. - W kolejce kworum komunikat wracał do kolejki więcej razy, niż pozwala jego
delivery-limit.
Broker zapisuje te przyczyny jako rejected, expired, maxlen i delivery_limit. Nic innego się nie liczy. Kolejka, która wygasa przez x-expires, jest usuwana razem z zawartością. Operacja purge po prostu usuwa komunikaty. Komunikat, którego broker nie może wyroutować w momencie publikacji, również nie trafia do dead-letteringu; do tego służy flaga mandatory albo alternate exchange.
Exchange dead-letter (DLX) to zwykły exchange. Nie ma specjalnego typu ani flagi w deklaracji. To po prostu exchange, do którego kolejka ponownie publikuje komunikat przy dead-letteringu – z kluczem dead-letter-routing-key kolejki, jeśli go ustawiono, a w przeciwnym razie z oryginalnym kluczem routingu komunikatu. Ponieważ jest zwykły, można z niego rozsyłać komunikaty do kolejki parkingowej i kolejki audytowej, routować według oryginalnego klucza przez exchange typu topic albo kierować błędy każdego zespołu do jego własnej kolejki. „Kolejka dead-letter” to po prostu dowolna kolejka z nim powiązana.
Przy ponownej publikacji w komunikacie zmieniają się dwie rzeczy. Właściwość expiration zostaje wyczyszczona, więc komunikat, który raz wygasł, nie wygasa natychmiast ponownie; pierwotna wartość jest zachowana w x-death jako original-expiration. Poza tym dodawany lub aktualizowany jest nagłówek x-death. Treść, identyfikator komunikatu, identyfikator korelacji i wszystkie pozostałe właściwości pozostają nienaruszone.
Konfiguracja exchange'a dead-letter: argumenty a polityki
DLX można przypisać do kolejki na dwa sposoby. Argumenty kolejki ustawia klient w momencie deklaracji:
{
"x-queue-type": "quorum",
"x-dead-letter-exchange": "orders.retry",
"x-dead-letter-routing-key": "order.failed"
}Polityki ustawiają to samo zachowanie po stronie brokera kluczami dead-letter-exchange i dead-letter-routing-key, dopasowywanymi do kolejek według wzorca nazwy.
Lepiej wybierać polityki. Argumenty kolejki są niezmienne: aby zmienić DLX ustawiony jako argument, trzeba usunąć kolejkę i zadeklarować ją ponownie, co oznacza wcześniejsze jej opróżnienie i skoordynowanie wszystkich klientów, którzy ją deklarują. Polityki zmienia się w trakcie działania, obejmują każdą pasującą kolejkę, trafiają do eksportu definicji i znajdują się w jednym miejscu, które operator może przejrzeć. Gdy obecne są oba mechanizmy, wygrywa argument – i to drugi powód, by unikać argumentów: aplikacja, która ustawia x-dead-letter-exchange, przypina wartość, której zespół operacyjny nie nadpisze bez wdrożenia. Wyjątkiem jest x-queue-type, który musi być argumentem, i to nie jest problem, bo typ kolejki nigdy się nie zmienia.
Jedna pułapka: do kolejki stosuje się tylko jedna polityka – dopasowanie o najwyższym priorytecie. Jeśli zdefiniuje się jedną politykę dla dead-letteringu, a drugą dla max-length lub delivery-limit na tych samych kolejkach, zadziała tylko jedna z nich. Wszystkie klucze potrzebne kolejce należy umieścić w tej samej definicji polityki.
Kierując komunikat do dead-letteringu, broker dopisuje wpis do nagłówka x-death – tablicy z jednym wpisem na każdą parę kolejka–przyczyna. Jeśli ta sama kolejka ponownie skieruje ten sam komunikat do dead-letteringu z tej samej przyczyny, count tego wpisu rośnie, a wpis przesuwa się na początek tablicy. Każdy wpis zawiera kolejkę, przyczynę, exchange i klucze routingu, z którymi komunikat przyszedł, znacznik czasu oraz original-expiration, jeśli w grę wchodził TTL. Broker ustawia też jednorazowo x-first-death-reason, x-first-death-queue i x-first-death-exchange oraz na bieżąco aktualizuje odpowiedniki x-last-death-*. Przykładowy nagłówek po trzech okrążeniach pętli ponowień:
x-death:
- queue: orders.work
reason: rejected
exchange: orders
routing-keys: [order.created]
count: 3
time: 1788430492
- queue: orders.wait.30s
reason: expired
exchange: orders.retry
routing-keys: [order.created]
count: 3
time: 1788430462
original-expiration: "30000"
x-first-death-reason: rejected
x-first-death-queue: orders.work
x-first-death-exchange: orders
x-last-death-reason: rejected
x-last-death-queue: orders.work
x-last-death-exchange: ordersDead-lettering może tworzyć cykl, a broker ma dla niego jedną regułę: jeśli komunikat dotrze do tej samej kolejki dwukrotnie, a żaden krok cyklu nie był odrzuceniem, komunikat jest usuwany. Jeśli którykolwiek krok był odrzuceniem przez konsumenta, cykl trwa dalej. Dlatego pętle ponowień oparte na requeue=false działają, bo każde okrążenie zawiera odrzucenie, natomiast pętla zbudowana wyłącznie z TTL – np. kolejka parkingowa z message-ttl, która kieruje komunikaty z powrotem do kolejki roboczej – po cichu usuwa komunikaty na drugim okrążeniu.
Kolejki kworum zmieniają zasady
Kolejki kworum liczą ponowne dostarczenia w nagłówku x-delivery-count, a klucz polityki delivery-limit (lub argument x-delivery-limit) wyznacza ich górną granicę. Po jej przekroczeniu kolejka kieruje komunikat do dead-letteringu, jeśli skonfigurowano DLX, a jeśli nie – usuwa go. Od RabbitMQ 4.0 domyślny limit dostarczeń wynosi 20; wcześniej nie było limitu.
Ta wartość domyślna zaskakuje zespoły migrujące z kolejek klasycznych. Konsument, który przechwytuje wyjątek i wywołuje basic.nack z requeue=true, w kolejce klasycznej kręcił się w nieskończoność – marnując CPU, ale niczego nie tracąc. W kolejce kworum 4.x bez DLX ten sam kod usuwa komunikat po 20 próbach, a jedynym śladem jest licznik. Należy ustawić delivery-limit na świadomie wybraną wartość i zawsze łączyć go z DLX.
Kolejki kworum obsługują też dwie strategie dead-letteringu, wybierane kluczem polityki dead-letter-strategy. Domyślna, at-most-once, publikuje ponownie bez potwierdzenia. Jeśli DLX nie istnieje albo kolejka docelowa jest niedostępna lub odrzuca komunikat, komunikat przepada. Taką gwarancję kolejki klasyczne miały zawsze.
at-least-once zatrzymuje skierowany do dead-letteringu komunikat w kolejce źródłowej, dopóki każda kolejka powiązana z DLX go nie potwierdzi. Wymaga źródłowej kolejki kworum, overflow ustawionego na reject-publish oraz DLX. Wewnętrznie lider kolejki uruchamia proces roboczy dead-letteringu, który dokumentacja nazywa konsumentem dead-letter: odczytuje on skierowane do dead-letteringu komunikaty z kolejki źródłowej, publikuje je do DLX z potwierdzeniami i ponawia wszystko, co nie zostało potwierdzone. Wynikają z tego trzy konsekwencje. Jeśli DLX nie istnieje albo cel jest niedostępny, komunikaty – zgodnie z założeniem – gromadzą się w kolejce źródłowej, wliczając się do jej długości i zajętości dysku. Ponieważ dostarczanie ma semantykę at-least-once, DLQ może otrzymywać duplikaty. A wewnętrzny konsument dead-letter to element infrastruktury, a nie aplikacja – na kolejce dead-letter nadal potrzebny jest prawdziwy konsument.
| Zachowanie | Kolejka klasyczna | Kolejka kworum |
|---|---|---|
| Limit ponownych dostarczeń | Brak, pętle requeue działają w nieskończoność | delivery-limit, domyślnie 20 w 4.x, potem DLX lub usunięcie |
| Licznik ponownych dostarczeń | Tylko flaga redelivered | Nagłówek x-delivery-count |
| Strategia dead-letteringu | Tylko at-most-once | at-most-once lub at-least-once |
| Replikacja | Mirroring usunięty w 4.0 | Replikacja Raft z założenia |
| Domyślne przepełnienie | drop-head | drop-head; reject-publish wymagane dla at-least-once |
Wzorce ponowień, które nie gubią komunikatów
Podstawowa pętla ponowień korzysta z kolejki oczekującej. DLX kolejki roboczej to exchange ponowień, który kieruje komunikaty do kolejki oczekującej z message-ttl na poziomie kolejki i bez konsumentów. DLX kolejki oczekującej to exchange roboczy, bez dead-letter-routing-key, dzięki czemu komunikat wraca z oryginalnym kluczem routingu. Konsument, który napotka przejściowy błąd, odrzuca komunikat z requeue=false; komunikat odczekuje TTL i wraca. Konsument odczytuje liczbę prób z wpisu x-death dla kolejki roboczej z przyczyną rejected i po osiągnięciu limitu przenosi komunikat do kolejki parkingowej zamiast ponownie go odrzucać.
Dla wykładniczego wydłużania przerw (exponential backoff) należy użyć osobnej kolejki oczekującej dla każdego poziomu opóźnienia: wait.10s, wait.1m, wait.10m. Nie należy robić tego za pomocą TTL poszczególnych komunikatów w jednej kolejce. Wygasłe komunikaty są usuwane tylko z początku kolejki – zarówno w kolejkach klasycznych, jak i kworum – więc dziesięciominutowy komunikat na początku blokuje stojący za nim komunikat dziesięciosekundowy. Przy kolejkach poziomowanych konsument wybiera poziom na podstawie liczby prób, publikuje do exchange'a ponowień z kluczem routingu danego poziomu, czeka na potwierdzenie wydawcy (publisher confirm) i dopiero wtedy potwierdza oryginał. Potwierdzenie przed nadejściem confirma to moment, w którym ponowienia sterowane przez konsumenta gubią komunikaty. DLX na kolejce roboczej i tak należy zostawić jako zabezpieczenie dla delivery-limit.
Alternatywą jest plugin delayed message exchange: komunikat publikuje się z nagłówkiem x-delay, a exchange przetrzymuje go do upływu opóźnienia. Ceną jest trwałość. Opóźnione komunikaty trafiają do lokalnego magazynu na węźle, na którym działa exchange, i nie są replikowane, więc utrata tego węzła oznacza utratę wszystkich oczekujących komunikatów, a duża zaległość oczekujących komunikatów pogarsza działanie pluginu. Nie ma też kolejki, którą można by przejrzeć. Przy kilku krótkich opóźnieniach to wygodne rozwiązanie; przy zaległości ponowień, którą być może trzeba będzie przejrzeć o 3 w nocy, kolejki oczekujące są nudne, widoczne i replikowane, jeśli zadeklarowano je jako kolejki kworum.
Ponowienia pomagają tylko przy błędach przejściowych. Komunikat, który kończy się błędem deterministycznie – bo ładunek jest nieprawidłowy albo odwołuje się do nieistniejącego rekordu – powinien trafić od razu do kolejki parkingowej, dlatego konsument musi odróżniać wyjątki, które warto ponawiać, od tych, których nie warto. Co więcej, każdy mechanizm opisany na tej stronie może dostarczyć ten sam komunikat dwukrotnie: ponowienia, replay i dead-lettering at-least-once gwarantują dostarczenie, a nie unikalność. Konsumenci muszą być idempotentni, z kluczem w postaci identyfikatora komunikatu lub klucza biznesowego, inaczej ponowienie zamieni błąd w podwójne obciążenie klienta.
Przykład: przetwarzanie zamówień z kolejką oczekującą i kolejką parkingową
Topologia:
- Exchange
orders(topic) z kolejką kworumorders.workpowiązaną kluczemorder.*. - Exchange
orders.retry(fanout) z kolejką kworumorders.wait.30s, TTL 30 sekund, kierującą komunikaty z powrotem doorders. - Exchange
orders.dlx(fanout) z kolejką kworumorders.parking, bez TTL i bez automatyzacji.
Wystarczą dwie polityki:
rabbitmqctl set_policy --vhost orders orders-work '^orders\.work$' \
'{"dead-letter-exchange":"orders.retry","dead-letter-strategy":"at-least-once","overflow":"reject-publish","delivery-limit":5}' \
--apply-to queues --priority 10
rabbitmqctl set_policy --vhost orders orders-wait '^orders\.wait\.' \
'{"message-ttl":30000,"dead-letter-exchange":"orders","dead-letter-strategy":"at-least-once","overflow":"reject-publish"}' \
--apply-to queues --priority 10Konsument egzekwuje limit prób i jawnie odkłada komunikat na parking, publikując z potwierdzeniem przed potwierdzeniem oryginału:
MAX_ATTEMPTS = 3
def on_message(msg):
attempts = death_count(msg.headers, queue="orders.work", reason="rejected")
try:
process_order(msg) # idempotent on msg.message_id
msg.ack()
except RetryableError as err:
if attempts + 1 >= MAX_ATTEMPTS:
park(msg, reason=str(err))
else:
log.warning("retry", id=msg.message_id, attempt=attempts + 1, err=err)
msg.reject(requeue=False) # -> orders.retry -> orders.wait.30s -> orders
except NonRetryableError as err:
park(msg, reason=str(err))
def park(msg, reason):
headers = dict(msg.headers, **{"x-parked-reason": reason, "x-parked-at": now_iso()})
publish_with_confirm("orders.dlx", msg.routing_key, msg.body, msg.properties, headers)
msg.ack() # ack only after the broker confirmed the parkKażdy element chroni przed czymś konkretnym. Awaria w trakcie przetwarzania zwraca komunikat do kolejki; pięć takich awarii z rzędu uruchamia delivery-limit i komunikat trafia do kolejki oczekującej, zamiast zostać usunięty. Błąd przejściowy czeka 30 sekund i wraca – maksymalnie przy trzech próbach. Błąd trwały trafia na parking od razu. Dead-lettering at-least-once sprawia, że krok ponowienia nie może zgubić komunikatu, nawet jeśli orders.wait.30s jest chwilowo niedostępna.
Eksploatacja kolejki dead-letter
Kolejka dead-letter jest przydatna tylko wtedy, gdy ktoś wie, kiedy się zapełnia. Większość potrzeb pokrywają cztery sygnały.
Głębokość: rabbitmq_queue_messages dla kolejki parkingowej i każdej kolejki oczekującej, z pluginu Prometheus z metrykami per obiekt lub z rodziny queue_coarse_metrics szczegółowego endpointu. Szybkość, która wykrywa zmianę wcześniej niż głębokość: liczniki rabbitmq_global_messages_dead_lettered_*_total rozbijają dead-lettering według przyczyny, a przy at-least-once także według potwierdzenia. Liczba konsumentów, która mówi, czy topologia jest nienaruszona: rabbitmq_queue_consumers powinien być niezerowy na kolejce parkingowej i równy dokładnie zero na każdej kolejce oczekującej, bo konsument na kolejce oczekującej niweczy opóźnienie. Wiek, którego RabbitMQ nie udostępnia bezpośrednio; można go oszacować z nagłówka x-parked-at lub pola time w x-death podczas próbkowania kolejki.
Progi startowe, do dostrojenia pod konkretną usługę:
- Jakikolwiek dead-lettering na kolejce, na której normalnie nie występuje: ostrzeżenie od razu – pierwszy przypadek najtaniej zbadać.
- Szybkość dead-letteringu powyżej jednego procenta szybkości publikowania przez pięć minut: wezwanie dyżurnego.
- Jakikolwiek wzrost licznika
delivery_limit: do zbadania – oznacza awarie konsumentów lub pętle requeue, a nie błędy biznesowe. - Głębokość kolejki parkingowej powyżej liczby dobranej do możliwości przeglądania komunikatów albo ciągły wzrost przez 30 minut: wezwanie dyżurnego.
- Zero konsumentów na kolejce parkingowej przez dziesięć minut albo jakikolwiek konsument na kolejce oczekującej: alert.
- Rosnąca głębokość kolejki źródłowej przy płaskiej DLQ i skonfigurowanym
at-least-once: DLX lub jego cel nie działa.
W momencie odkładania na parking należy zalogować to, czego broker nie zapisuje: klasę i treść wyjątku, host i build konsumenta, identyfikator komunikatu i identyfikator korelacji, oryginalny exchange i klucz routingu z x-death oraz liczbę prób. Broker wie, dlaczego komunikat trafił do dead-letteringu; tylko konsument wie, co poszło nie tak. Przyczynę warto też dołączyć jako nagłówek, tak jak w przykładzie z x-parked-reason, aby osoba, która później otworzy kolejkę, mogła ją odczytać bez przeszukiwania logów. Nie należy logować pełnych treści komunikatów, chyba że są małe i nie zawierają niczego wrażliwego. Treść jest w kolejce.
Bezpieczny replay komunikatów
Replay oznacza ponowne opublikowanie odłożonych komunikatów do exchange'a roboczego. Najpierw trzeba usunąć przyczynę. Replay do nienaprawionego konsumenta tworzy pętlę między kolejką parkingową a roboczą z człowiekiem pośrodku.
Najprostszym narzędziem jest dynamiczny shovel z kolejki parkingowej do exchange'a roboczego, tworzony przez rabbitmqctl set_parameter shovel. Należy użyć ack-mode o wartości on-confirm, aby komunikat opuszczał kolejkę parkingową dopiero po potwierdzeniu przez kolejkę roboczą, ustawić dest-exchange na exchange roboczy i pozostawić dest-exchange-key nieustawiony, aby użyty został oryginalny klucz routingu, oraz ustawić src-delete-after na queue-length, aby shovel przeniósł to, co było w kolejce w chwili startu, i następnie sam się usunął. Akcja przenoszenia komunikatów (move messages) w interfejsie zarządzania to pod spodem również shovel. Shovel odtwarza wszystko po kolei, bez filtrowania, a x-death nadal się wydłuża – i o to chodzi: komunikat, który znów zawiedzie, wraca na parking z dłuższą historią.
Gdy potrzebna jest selekcja, należy użyć konsumenta do replayu: małego narzędzia, które konsumuje z kolejki parkingowej z umiarkowanym prefetch, filtruje według nagłówka, czasu lub identyfikatora, publikuje z potwierdzeniami i potwierdza każdy komunikat po otrzymaniu confirma. Trzeba ograniczyć jego tempo, bo kolejka parkingowa zapełniona przez weekend może w poniedziałek rano zalać bazę danych w dalszej części łańcucha. Jeśli liczniki prób mają zaczynać się od zera, narzędzie może usuwać x-death, ale w jego miejsce powinno zapisywać nagłówek x-replay-count.
Nie należy publikować ponownie z doraźnego skryptu bez potwierdzeń, nie należy robić replayu w godzinach szczytu i nie należy odtwarzać partii, której przyczyny źródłowej nie ustalono.
Retencja i dysk
Kolejka parkingowa to trwały stan. W kolejce kworum każdy komunikat jest zapisywany do logu Raft i plików segmentów na każdym członku, więc kolejka z trzema członkami przechowuje trzy kopie przez cały czas, gdy komunikat w niej leży. Komunikaty trafiające do dead-letteringu to zwykle te duże i zwykle leżą tam całymi dniami. Dysk trzeba zaplanować.
Kolejkę parkingową należy ograniczyć przez max-length-bytes z overflow ustawionym na reject-publish, a nie drop-head. drop-head po cichu usuwa najstarsze dowody, gdy kolejka się zapełni. reject-publish sprawia, że pełna kolejka parkingowa jest głośna: dead-lettering do niej kończy się niepowodzeniem, kolejka źródłowa at-least-once zatrzymuje swoją zaległość, a alerty się uruchamiają. Głośno znaczy poprawnie.
Nie należy ustawiać message-ttl na kolejce parkingowej. Retencja należy do konsumenta archiwizującego, który przenosi komunikaty starsze niż okno przeglądu do magazynu obiektowego lub tabeli w bazie danych i je potwierdza, dzięki czemu kolejka pozostaje skrzynką odbiorczą, a nie archiwum. Ryzyko, którego się w ten sposób unika, jest realne: kolejka parkingowa, której nikt nie opróżnia, rośnie, aż węzeł przekroczy próg alarmu wolnego miejsca na dysku, a alarm dyskowy blokuje każdego wydawcę na węźle, zamieniając powolne gromadzenie się błędów w awarię całego klastra.
Antywzorce spotykane na produkcji
DLQ bez konsumenta i bez alertu. Komunikaty gromadzą się, aż uruchomi się alarm dyskowy albo ktoś trafi na kolejkę przy okazji niezwiązanego incydentu kilka miesięcy później. Jeśli wzrost kolejki przeszedłby niezauważony, skonfigurowano po prostu wyciek z dodatkowymi krokami.
Dead-lettering do exchange'a, z którym kolejka jest już powiązana, bez zmiany klucza routingu. Komunikat wraca do tej samej kolejki. Jeśli wygasł albo został usunięty z powodu limitu długości, wykrywanie cykli go usuwa. Jeśli został odrzucony, krąży przez konsumenta w gorącej pętli z pełną prędkością, wysycając CPU i zapełniając logi.
Nieograniczone ponowienia. Bez limitu prób komunikat, który nigdy nie zostanie przetworzony, krąży w nieskończoność, zużywając moc konsumentów przy każdym okrążeniu, a przy at-least-once i reject-publish może cofać się do kolejki źródłowej.
Lustrzane kolejki klasyczne z DLX w 4.x. Mirroring kolejek klasycznych usunięto w RabbitMQ 4.0, a klucze polityk ha-* nie są już respektowane. Kolejka dead-letter, która w 3.x była replikowana, po aktualizacji staje się jednowęzłową kolejką klasyczną, a jeśli ten węzeł ulegnie awarii, dowody znikną razem z nim. Kolejki dead-letter należy przekonwertować na kolejki kworum przed aktualizacją.
TTL na samej DLQ. message-ttl ustawiony na tydzień na kolejce parkingowej „dla porządku” usuwa dokładnie te komunikaty, których potrzebuje dochodzenie, a jeśli kolejka parkingowa dodatkowo kieruje komunikaty z powrotem do kolejki roboczej, TTL tworzy cykl oparty wyłącznie na wygasaniu, który wykrywanie cykli po cichu przerywa.
Dwa mniejsze: logowanie treści i potwierdzanie komunikatu zamiast odłożenia go na parking, co traktuje wpis w logu jak kolejkę; oraz uruchamianie konsumenta kolejki parkingowej w tym samym procesie co konsumenta roboczego, przez co awaria, która zapełnia kolejkę parkingową, wyłącza też to, co miało ją opróżniać.
Co dalej
Dead-lettering opiera się na routingu, a DLX jest tylko tak sensowny jak otaczający go projekt exchange'y. Ten temat omawia nasz przewodnik po exchange'ach, kolejkach i powiązaniach w mikrousługach. Jeśli kwestia typu kolejki nie jest jeszcze rozstrzygnięta, decyzję opisuje artykuł kolejki klasyczne a kolejki kworum; wszystko tutaj zakłada kolejki kworum dla wszystkiego, co ma znaczenie. Szersze tryby awarii, które w ogóle zapełniają kolejkę parkingową, opisuje artykuł dziesięć najczęstszych problemów z RabbitMQ.
Jeśli Państwa kolejki dead-letter się zapełniają i nie wiadomo dlaczego albo planują Państwo aktualizację do 4.x i chcą przejrzeć topologię DLX, zanim kolejki lustrzane przestaną być dostępne – tym właśnie się zajmujemy. AceMQ jest jedynym partnerem MSP RabbitMQ wskazanym przez Broadcom, wspiera RabbitMQ od 3.8.x do 4.x i reaguje na incydenty P1 z docelowymi czasami reakcji od 15 minut, zależnie od planu. Zapraszamy do zapoznania się z planami wsparcia technicznego RabbitMQ oraz z tym, jak pracujemy z RabbitMQ.
Najczęściej zadawane pytania
Czym różni się exchange dead-letter od kolejki dead-letter?
Exchange dead-letter to exchange, do którego kolejka ponownie publikuje komunikat, gdy kieruje go do dead-letteringu. Jest to zwykły exchange bez specjalnego typu. Kolejka dead-letter to dowolna kolejka powiązana z tym exchange'em, a jej nazwa jest konwencją, a nie pojęciem brokera. RabbitMQ wie wyłącznie o exchange'u; to, gdzie trafi komunikat, zależy od zadeklarowanych powiązań (bindings). Takie rozdzielenie jest przydatne: jeden DLX może rozsyłać komunikaty jednocześnie do kolejki parkingowej (parking lot) do późniejszego replayu i do kolejki audytowej do analizy albo kierować błędy każdego zespołu do jego własnej kolejki według oryginalnego klucza routingu.
Czy RabbitMQ kieruje do dead-letteringu komunikaty, których nie da się wyroutować?
Nie. Dead-lettering dotyczy wyłącznie komunikatów, które już były w kolejce i zostały odrzucone, wygasły, zostały usunięte z powodu limitu długości albo przekroczyły limit dostarczeń kolejki kworum. Komunikat opublikowany do exchange'a bez pasującego powiązania jest odrzucany w momencie publikacji, chyba że wydawca ustawił flagę mandatory – wtedy wraca do wydawcy – albo exchange ma skonfigurowany alternate exchange – wtedy trafia właśnie tam. Jeśli komunikaty niemożliwe do wyroutowania mają znaczenie, należy skonfigurować alternate exchange z własną kolejką i monitorować ją tak samo jak kolejkę dead-letter.
Jak liczyć ponowienia w RabbitMQ?
Należy odczytać nagłówek x-death. Każdy wpis odpowiada parze kolejka–przyczyna, a jego pole count rośnie za każdym razem, gdy ta kolejka kieruje komunikat do dead-letteringu z tej przyczyny. W pętli ponowień z kolejką oczekującą trzeba znaleźć wpis, którego queue to kolejka robocza, a reason to rejected; jego licznik to dotychczasowa liczba prób. W kolejkach kworum osobny nagłówek x-delivery-count liczy ponowne dostarczenia w obrębie jednej kolejki, czyli awarie konsumenta i zwroty do kolejki (requeue), a nie jawne odrzucenia. Limit należy egzekwować w konsumencie, a po jego osiągnięciu odkładać komunikat na parking jawną publikacją z potwierdzeniem.
Czy można używać exchange'a dead-letter z kolejkami kworum?
Tak, a kolejki kworum dodają dwie rzeczy, których kolejki klasyczne nigdy nie miały. Polityka delivery-limit ogranicza liczbę ponownych dostarczeń i po jej przekroczeniu kieruje komunikat do dead-letteringu; od RabbitMQ 4.0 wartość domyślna to 20, więc trzeba skonfigurować DLX, inaczej takie komunikaty zostaną usunięte. Klucz polityki dead-letter-strategy można ustawić na at-least-once, co zatrzymuje komunikaty skierowane do dead-letteringu w kolejce źródłowej, dopóki kolejka docelowa ich nie potwierdzi. Wymaga to ustawienia overflow na reject-publish. Zarówno kolejka źródłowa, jak i najlepiej sama kolejka dead-letter powinny być kolejkami kworum, aby dowody awarii były replikowane.
Co się dzieje, jeśli exchange dead-letter nie istnieje?
Broker nie weryfikuje nazwy exchange'a przy deklaracji kolejki ani przy zastosowaniu polityki, więc konfiguracja zostaje po cichu przyjęta. Przy domyślnej strategii at-most-once każdy komunikat skierowany do dead-letteringu jest usuwany – bez błędu i bez wpisu w logu – co jest jednym z najcichszych sposobów utraty danych w RabbitMQ. Przy at-least-once w kolejce kworum takie komunikaty są zatrzymywane w kolejce źródłowej, dopóki exchange się nie pojawi, a kolejka docelowa ich nie potwierdzi, więc zamiast tego rośnie kolejka źródłowa. DLX i jego kolejkę należy deklarować w definicjach i alertować przy każdej szybkości dead-letteringu, której nie towarzyszy wzrost DLQ.
Czy ustawiać TTL na kolejce dead-letter?
Nie. message-ttl na kolejce parkingowej usuwa komunikaty, które zachowano właśnie po to, by ktoś mógł je przejrzeć i odtworzyć, i robi to według zegara, który nie ma nic wspólnego z tym, czy przyczynę problemu usunięto. Jeśli kolejka parkingowa dodatkowo kieruje komunikaty z powrotem do kolejki roboczej, wygasanie tworzy cykl bez żadnego odrzucenia, który broker po cichu przerywa, usuwając komunikaty. Retencją powinien zarządzać konsument archiwizujący, który przenosi stare komunikaty do trwałego magazynu i je potwierdza; kolejkę należy ograniczyć przez max-length-bytes i reject-publish oraz alertować na podstawie jej głębokości i wieku komunikatów.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Poradniki, porównania i analizy


