On this page
consumer_timeout to limit czasu na potwierdzenie dostarczenia w RabbitMQ. Jeśli konsument przetrzymuje dostarczony komunikat bez potwierdzenia dłużej niż wynosi limit, RabbitMQ zamyka kanał tego konsumenta z wyjątkiem kanału PRECONDITION_FAILED, a niepotwierdzone komunikaty wracają do kolejki w celu ponownego dostarczenia. Wartość domyślna to 30 minut. Od RabbitMQ 4.3 dotyczy to wyłącznie kolejek kworum.
Limit dotyczy tylko konsumentów w trybie ręcznego potwierdzania — typowego ustawienia w klientach AMQP 0-9-1, gdy komunikaty nie mogą zostać utracone: broker przekazuje komunikat i czeka, aż konsument potwierdzi komunikaty, które już przetworzył. Limit istnieje po to, by wychwycić konsumentów, którzy pobrali komunikat i się zawiesili, tak aby praca wróciła do kolejki, zamiast być przetrzymywana bez końca. Wychwytuje jednak także sprawnych konsumentów, których zadania po prostu trwają dłużej niż 30 minut — i tu zaczyna się większość nieporozumień: aplikacja działa, połączenie jest otwarte, a liczba konsumentów w interfejsie zarządzania po cichu spadła do zera.
Jak wygląda błąd limitu czasu konsumenta
Broker loguje zamknięcie kanału wraz z tagiem konsumenta, kanałem, kolejką i tagiem dostarczenia. Komunikat w dokumentacji RabbitMQ wygląda tak:
Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.Po stronie klienta pojawia się on jako wyjątek kanału z PRECONDITION_FAILED. Ponieważ zamykany jest kanał, a nie połączenie, biblioteka kliencka często pozostaje połączona i nie loguje niczego oczywistego, o ile zamknięcie kanału nie jest obsługiwane. Kolejka pokazuje teraz swoje komunikaty ponownie jako gotowe, są one dostarczane ponownie z ustawioną flagą redelivered, a wolne zadanie może zostać wykonane dwukrotnie.
Trzy powody, dla których konsument RabbitMQ przestaje konsumować
Limit czasu to jeden z trzech sposobów, w jakie konsument przestaje konsumować bez polecenia ze strony aplikacji. W interfejsie zarządzania wyglądają tak samo, a wymagają różnych poprawek:
- Limit czasu potwierdzenia zamknął kanał. Pojawia się powyższy wpis w logu, połączenie pozostaje aktywne, a konsumenta już nie ma. Praca trwała zbyt długo albo konsument się zawiesił.
- Broker anulował konsumenta. Gdy kolejka zostaje usunięta albo węzeł, na którym się znajduje, ulega awarii, RabbitMQ wysyła do klienta asynchroniczne
basic.cancel. Klienci deklarują obsługę funkcjiconsumer_cancel_notify— klienci RabbitMQ robią to domyślnie — a biblioteka kliencka przekazuje to zdarzenie przez callback, taki jakhandleCancelw kliencie Java. Jeśli aplikacja ignoruje ten callback, pozostaje z kanałem, na którym nie ma żadnego konsumenta. - Połączenie zostało zerwane. Load balancer, zapora lub brama NAT zerwały bezczynne połączenie TCP albo proces klienta się zawiesił. Wykrywają to heartbeaty: sugerowana wartość domyślna to 60 sekund, a po dwóch pominiętych heartbeatach druga strona jest uznawana za nieosiągalną. To samo zadanie mogą zamiast tego pełnić keepalive'y TCP na poziomie systemu operacyjnego.
Kolejność sprawdzania: najpierw log brokera, potem callbacki kanału i anulowania po stronie klienta, a na końcu sieć. Log brokera w kilka sekund pokazuje, która z trzech przyczyn wystąpiła.
Konfiguracja consumer_timeout: globalnie, dla kolejki lub wyłączenie
Wartość limitu ustawia się globalnie w pliku konfiguracyjnym RabbitMQ, rabbitmq.conf, w milisekundach:
# one hour
consumer_timeout = 3600000Dla pojedynczej kolejki, od RabbitMQ 3.12, za pomocą polityki lub argumentu kolejki. Polityka jest lepszym narzędziem, ponieważ można ją zmienić bez ponownego wdrażania aplikacji:
rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queuesArgument kolejki to x-consumer-timeout, ustawiany przy deklaracji, również w milisekundach.
RabbitMQ sprawdza limit raz na minutę, więc wartości poniżej jednej minuty nie są obsługiwane, a wartości poniżej pięciu minut nie są zalecane. Limit można wyłączyć w advanced.config, ustawiając consumer_timeout na undefined, ale dokumentacja zaleca raczej wysoką wartość, rzędu kilku godzin, niż całkowite wyłączenie.
Zmiana w RabbitMQ 4.3: tylko kolejki kworum
Od RabbitMQ 4.3 limity czasu potwierdzenia dostarczenia są obsługiwane wyłącznie przez kolejki kworum. Wynikają z tego dwie konsekwencje:
- Konsumenci klasycznych kolejek tracą ochronę. Konsument, który pobierze komunikat z klasycznej kolejki i się zawiesi, będzie go przetrzymywał do zamknięcia kanału lub połączenia. Jeśli polegali Państwo na tym limicie przy odzyskiwaniu zawieszonych konsumentów klasycznych kolejek, potrzebne są zamiast tego limity czasu po stronie klienta lub monitoring.
- Przejście na kolejki kworum może go włączyć. Obciążenie, które bez problemów działało na klasycznych kolejkach z godzinnymi zadaniami, po migracji do kolejek kworum może zacząć napotykać zamknięcia kanałów z
PRECONDITION_FAILED. Wartośćconsumer-timeoutdla tych kolejek należy ustawić w ramach migracji, a nie po pierwszym incydencie.
Szersze różnice między typami kolejek opisuje artykuł migracja z klasycznych kolejek do kolejek kworum.
Jak wykryć zawieszonych konsumentów, zanim przekroczą limit czasu
Konsument, który zaraz przekroczy limit, z zewnątrz wygląda na sprawnego: jest połączony, subskrybuje i ma komunikaty w trakcie przetwarzania. Trzy sprawdzenia pozwalają wychwycić go wcześnie.
Niepotwierdzone komunikaty, które przestają się przesuwać. Należy porównać liczbę komunikatów gotowych, niepotwierdzonych i liczbę konsumentów dla każdej kolejki:
rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisationKolejka, w której messages_unacknowledged stoi w miejscu, a messages_ready rośnie, ma konsumentów przetrzymujących komunikaty, których nie kończą przetwarzać. consumer_utilisation znacznie poniżej 1.0 w kolejce z zaległościami mówi to samo z drugiej strony: kolejka ma komunikaty, ale nie może ich dostarczyć, ponieważ konsumenci osiągnęli limit prefetch.
Którzy konsumenci je przetrzymują. rabbitmqctl list_consumers wyświetla każdą subskrypcję z jej kanałem, tagiem konsumenta, informacją, czy oczekiwane są potwierdzenia, oraz limitem prefetch. Konsument z wysokim prefetch w wolnej kolejce to pierwszy podejrzany.
Liczba konsumentów w czasie. W Prometheus, z włączonymi metrykami per obiekt, tak aby wartości były raportowane dla każdej kolejki, a nie agregowane, warto ustawić alerty na spadek rabbitmq_queue_consumers do zera w kolejkach, które zawsze powinny być konsumowane, oraz na wzrost rabbitmq_queue_messages_unacked bez odpowiadającego mu wzrostu tempa dostarczania i potwierdzania. Te dwa alerty wychwytują przekroczenie limitu, anulowanie zainicjowane przez broker i zerwane połączenie — cokolwiek nastąpi pierwsze.
Jak zapobiec przekraczaniu limitu czasu przez konsumentów
Podniesienie limitu jest właściwą poprawką tylko wtedy, gdy praca rzeczywiście trwa tak długo. Reszta to kwestia zachowania klienta:
- Dobrać limit dla każdej kolejki. Ustawić
consumer-timeoutw kolejkach obsługujących długie zadania, z zapasem ponad najdłuższy uzasadniony czas przetwarzania, a globalną wartość domyślną pozostawić bez zmian. - Przy wolnej pracy utrzymywać niski prefetch. Każdy pobrany z wyprzedzeniem komunikat jest już dostarczeniem, którego czas limit odlicza. Przy prefetch równym 50 i zadaniach trwających minutę każde, 31. komunikat jest przetrzymywany ponad 30 minut, zanim konsument w ogóle zacznie go przetwarzać, a kanał zostaje zamknięty przy domyślnym limicie. Więcej w artykule prefetch count w RabbitMQ.
- Potwierdzać na kanale, który odebrał komunikat, i na każdej ścieżce kodu, łącznie ze ścieżką obsługi wyjątków. Brak potwierdzenia w gałęzi błędu to najczęstsza przyczyna konsumenta przetrzymującego komunikaty aż do przekroczenia limitu.
- Obsługiwać zamknięcie kanału i powiadomienia o anulowaniu. Po zamknięciu kanału lub otrzymaniu
basic.cancelnależy otworzyć nowy kanał i ponownie się zasubskrybować. Automatyczne odtwarzanie połączeń w bibliotekach klienckich przywraca zerwane połączenia, ale nie zawsze obejmuje pojedynczy zamknięty kanał ani anulowanie zainicjowane przez broker. - Zapewnić idempotentne przetwarzanie. Komunikat, którego limit upłynął, wraca do kolejki i jest dostarczany ponownie, więc zadanie wykonane w 90 procentach uruchamia się od nowa. Komunikaty, których nigdy nie da się przetworzyć na czas, powinny trafiać do kolejki dead letter, a nie do pętli ponownych dostarczeń; więcej w artykule kolejki dead letter w RabbitMQ.
- Ustawić alerty na niepotwierdzone komunikaty i liczbę konsumentów w każdej kolejce, a nie tylko na głębokość kolejki. Zerowa liczba konsumentów w kolejce, która zawsze powinna mieć konsumentów, to najwcześniejszy sygnał wszystkich trzech trybów awarii.
Te wzorce regularnie pojawiają się w zgłoszeniach wsparcia RabbitMQ, które obsługujemy: konsumenci zgłaszani jako brakujący, choć aplikacja jest sprawna, po migracji do kolejek kworum lub zmianie limitów pamięci. Jeśli potrzebują Państwo drugiej pary oczu do klastra, który tak się zachowuje, obejmuje to wsparcie techniczne RabbitMQ od AceMQ, a szerszą ścieżkę diagnostyczną opisuje przewodnik po rozwiązywaniu problemów z RabbitMQ.
Źródła
Najczęściej zadawane pytania
Czym jest consumer_timeout w RabbitMQ?
To limit czasu na potwierdzenie dostarczenia. Jeśli konsument przetrzymuje dostarczony komunikat bez potwierdzenia dłużej niż wynosi limit, RabbitMQ zamyka kanał tego konsumenta z wyjątkiem kanału PRECONDITION_FAILED, a niepotwierdzone komunikaty wracają do kolejki. Wartość domyślna to 30 minut.
Jaki jest domyślny limit czasu konsumenta w RabbitMQ?
30 minut (1 800 000 ms). RabbitMQ raz na minutę sprawdza, czy należy go wyegzekwować, więc wartości poniżej jednej minuty nie są obsługiwane, a wartości poniżej pięciu minut nie są zalecane.
Jak zmienić limit czasu konsumenta dla jednej kolejki?
Od RabbitMQ 3.12 można ustawić klucz consumer-timeout w polityce albo argument x-consumer-timeout przy deklarowaniu kolejki. Oba przyjmują wartość w milisekundach. Wartość ustawiona dla kolejki jest bezpieczniejsza niż podnoszenie globalnego consumer_timeout dla wszystkich kolejek w klastrze.
Czy consumer_timeout dotyczy klasycznych kolejek w RabbitMQ 4.3?
Nie. Od RabbitMQ 4.3 limity czasu potwierdzenia dostarczenia są obsługiwane wyłącznie przez kolejki kworum (quorum queues). Konsument klasycznej kolejki, który przetrzymuje dostarczony komunikat bez końca, nie jest już w wersji 4.3 zamykany przez broker.
Czy można wyłączyć limit czasu konsumenta w RabbitMQ?
Tak, ustawiając consumer_timeout na undefined w advanced.config, ale dokumentacja RabbitMQ odradza takie rozwiązanie. Wysoka wartość, na przykład kilka godzin, zachowuje ochronę, nie przerywając długich zadań.
Dlaczego liczba konsumentów w RabbitMQ spada do zera, choć aplikacja działa?
Zwykle z jednego z trzech powodów: limit czasu potwierdzenia dostarczenia zamknął kanał konsumenta, broker anulował konsumenta, bo jego kolejka została usunięta lub stała się niedostępna, albo połączenie TCP zerwało się i zostało usunięte po pominiętych heartbeatach. Klienci, którzy nie otwierają ponownie kanału i nie subskrybują się od nowa, pozostają połączeni, ale niczego nie konsumują.
Poradniki, porównania i analizy

