BlogRabbitMQ

consumer_timeout no RabbitMQ: o que faz e por que os consumidores desaparecem

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 7 min de leitura

consumer_timeout no RabbitMQ: o que faz e por que os consumidores desaparecem
On this page

consumer_timeout é o timeout de confirmação de entrega do RabbitMQ. Se um consumidor segura uma entrega sem confirmá-la por mais tempo que o timeout, o RabbitMQ fecha o canal desse consumidor com uma exceção de canal PRECONDITION_FAILED, e as mensagens não confirmadas voltam para a fila para serem reentregues. O padrão é de 30 minutos. A partir do RabbitMQ 4.3, ele se aplica apenas às filas de quórum.

Ele só vale para consumidores no modo de confirmação manual, a configuração usual dos clientes AMQP 0-9-1 quando as mensagens não podem ser perdidas: o broker entrega uma mensagem e espera que o consumidor confirme as que terminou de processar. O timeout existe para pegar consumidores que receberam uma mensagem e travaram, para que o trabalho volte à fila em vez de ficar retido para sempre. Mas ele também pega consumidores saudáveis cujos jobs simplesmente levam mais de 30 minutos, e é aí que começa a maior parte da confusão: a aplicação está rodando, a conexão está aberta e o número de consumidores na interface de gerenciamento caiu para zero, sem alarde.

Como é o erro de timeout de consumidor

O broker registra o fechamento do canal com o consumer tag, o canal, a fila e o delivery tag. A mensagem na documentação do RabbitMQ é assim:

Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.

Do lado do cliente, ele chega como uma exceção de canal com PRECONDITION_FAILED. Como fecha o canal, e não a conexão, a biblioteca cliente muitas vezes continua conectada e não registra nada óbvio, a menos que o encerramento do canal seja tratado. A fila volta a mostrar as mensagens como prontas, elas são reentregues com a flag redelivered ativada e o job lento pode rodar duas vezes.

Três motivos para um consumidor do RabbitMQ parar de consumir

O timeout é uma das três formas pelas quais um consumidor para de consumir sem que a aplicação tenha pedido. Na interface de gerenciamento, elas parecem iguais, mas exigem correções diferentes:

  • O timeout de confirmação fechou o canal. A linha de log acima aparece, a conexão continua ativa e o consumidor sumiu. O trabalho demorou demais ou o consumidor travou.
  • O broker cancelou o consumidor. Quando uma fila é excluída ou o nó que a hospeda falha, o RabbitMQ envia ao cliente um basic.cancel assíncrono. Os clientes anunciam a capacidade consumer_cancel_notify, o que os próprios clientes do RabbitMQ fazem por padrão, e a biblioteca cliente a expõe por meio de um callback, como handleCancel no cliente Java. Se a aplicação ignora esse callback, ela fica com um canal sem nenhum consumidor.
  • A conexão morreu. Um load balancer, firewall ou NAT gateway descartou uma conexão TCP ociosa, ou o processo do cliente congelou. Os heartbeats detectam isso: o padrão sugerido é de 60 segundos, e depois de dois heartbeats perdidos o outro lado é considerado inacessível. Os TCP keepalives podem fazer o mesmo trabalho no nível do sistema operacional.

A ordem de verificação é: primeiro o log do broker, depois os callbacks de canal e de cancelamento do cliente e, por fim, a rede. Em poucos segundos, o log do broker diz qual dos três motivos foi.

Configuração do consumer_timeout: global, por fila ou desativado

Defina o valor do timeout globalmente no arquivo de configuração do RabbitMQ, rabbitmq.conf, em milissegundos:

# one hour
consumer_timeout = 3600000

Por fila, a partir do RabbitMQ 3.12, com uma policy ou um argumento de fila. A policy é a melhor ferramenta, porque pode ser alterada sem reimplantar a aplicação:

rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues

O argumento de fila é x-consumer-timeout, definido na declaração, também em milissegundos.

O RabbitMQ avalia o timeout uma vez por minuto, então valores abaixo de um minuto não são suportados e valores abaixo de cinco minutos não são recomendados. É possível desativá-lo no advanced.config definindo consumer_timeout como undefined, mas a documentação recomenda um valor alto, de algumas horas, em vez de desligá-lo.

A mudança do RabbitMQ 4.3: apenas filas de quórum

A partir do RabbitMQ 4.3, os timeouts de confirmação de entrega são suportados apenas pelas filas de quórum. Isso tem duas consequências:

  • Os consumidores de filas clássicas perdem a proteção. Um consumidor que pega uma mensagem de uma fila clássica e trava vai segurá-la até o canal ou a conexão serem fechados. Se você dependia do timeout para recuperar consumidores de filas clássicas travados, vai precisar de timeouts do lado do cliente ou de monitoramento.
  • Migrar para filas de quórum pode ativá-lo. Um workload que rodava sem problemas em filas clássicas com jobs de uma hora pode começar a ver fechamentos de canal com PRECONDITION_FAILED depois de uma migração para filas de quórum. Defina um consumer-timeout por fila para essas filas como parte da migração, e não depois do primeiro incidente.

As diferenças mais amplas entre os tipos de fila estão em migração de filas clássicas para filas de quórum.

Como detectar consumidores travados antes do timeout

Um consumidor prestes a atingir o timeout parece saudável visto de fora: conectado, inscrito e com mensagens em andamento. Três verificações mostram o problema com antecedência.

Mensagens não confirmadas que param de andar. Compare, por fila, as mensagens prontas, as não confirmadas e o número de consumidores:

rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation

Uma fila cujo messages_unacknowledged fica estável enquanto o messages_ready cresce tem consumidores segurando entregas que não estão concluindo. Um consumer_utilisation bem abaixo de 1,0 em uma fila com backlog diz o mesmo pelo outro lado: a fila tem mensagens, mas não consegue entregá-las, porque os consumidores atingiram o limite de prefetch.

Quais consumidores as seguram. rabbitmqctl list_consumers lista todas as assinaturas com o canal, o consumer tag, se há confirmações esperadas e o limite de prefetch. Um consumidor com prefetch alto em uma fila lenta é o primeiro suspeito.

O número de consumidores ao longo do tempo. No Prometheus, com as métricas por objeto ativadas para que os valores sejam reportados por fila, e não agregados, crie alertas para rabbitmq_queue_consumers caindo para zero em filas que deveriam estar sempre sendo consumidas e para rabbitmq_queue_messages_unacked subindo sem um aumento correspondente nas taxas de entrega e de confirmação. Esses dois alertas pegam o timeout, um cancelamento iniciado pelo broker e uma conexão morta, o que acontecer primeiro.

Como impedir que os consumidores atinjam o timeout

Aumentar o timeout é a correção certa apenas quando o trabalho realmente leva esse tempo todo. O resto é comportamento do cliente:

  • Dimensione o timeout por fila. Defina consumer-timeout nas filas que transportam jobs longos, com uma margem acima do maior tempo legítimo de processamento, e não mexa no padrão global.
  • Mantenha o prefetch baixo para trabalhos lentos. Cada mensagem em prefetch já é uma entrega que o timeout está contando. Com um prefetch de 50 e jobs que levam um minuto cada, a 31ª entrega já está retida há mais de 30 minutos antes mesmo de o consumidor começar a processá-la, e o canal é fechado no timeout padrão. Veja prefetch count no RabbitMQ.
  • Confirme no mesmo canal que recebeu a entrega e em todos os caminhos do código, inclusive no de exceção. Um ack ausente em um ramo de erro é a causa mais comum de um consumidor que segura entregas até atingir o timeout.
  • Trate o encerramento de canal e as notificações de cancelamento. Em um fechamento de canal ou em um basic.cancel, abra um novo canal e faça a assinatura de novo. A recuperação automática de conexão das bibliotecas cliente reconecta conexões perdidas, mas nem sempre cobre um único canal fechado ou um cancelamento iniciado pelo broker.
  • Torne o processamento idempotente. Uma entrega que atingiu o timeout volta para a fila e é reentregue, então um job que estava 90% concluído roda de novo. Mensagens que nunca conseguem terminar a tempo devem ir para uma dead-letter queue, e não ficar em um loop de reentrega; veja dead-letter queues no RabbitMQ.
  • Crie alertas para mensagens não confirmadas e para o número de consumidores por fila, e não só para a profundidade da fila. Zero consumidores em uma fila que sempre deveria tê-los é o sinal mais precoce dos três modos de falha.

Esses padrões aparecem com frequência nos chamados de suporte para RabbitMQ que atendemos: consumidores dados como desaparecidos enquanto a aplicação está saudável, depois de uma migração para filas de quórum ou de uma mudança nos limites de memória. Se você precisa de um segundo olhar sobre um cluster que está fazendo isso, o suporte para RabbitMQ da AceMQ cobre esse cenário, e o guia de troubleshooting do RabbitMQ cobre o caminho de diagnóstico mais amplo.

Fontes

Perguntas frequentes

O que é o consumer_timeout no RabbitMQ?

É o timeout de confirmação (ack) de entrega. Se um consumidor segura uma entrega sem confirmá-la por mais tempo que o timeout, o RabbitMQ fecha o canal desse consumidor com uma exceção de canal PRECONDITION_FAILED, e as mensagens não confirmadas voltam para a fila. O padrão é de 30 minutos.

Qual é o timeout padrão de consumidor no RabbitMQ?

30 minutos (1.800.000 ms). O RabbitMQ verifica uma vez por minuto se deve aplicá-lo, então valores abaixo de um minuto não são suportados e valores abaixo de cinco minutos não são recomendados.

Como alterar o timeout de consumidor de uma única fila?

A partir do RabbitMQ 3.12, defina a chave consumer-timeout em uma policy ou o argumento x-consumer-timeout na declaração da fila. Os dois recebem o valor em milissegundos. Um valor por fila é mais seguro do que aumentar o consumer_timeout global para todas as filas do cluster.

O consumer_timeout se aplica às filas clássicas no RabbitMQ 4.3?

Não. A partir do RabbitMQ 4.3, os timeouts de confirmação de entrega são suportados apenas pelas filas de quórum (quorum queues). Na 4.3, um consumidor de fila clássica que segura uma entrega indefinidamente deixa de ser fechado pelo broker.

Posso desativar o timeout de consumidor do RabbitMQ?

Sim, definindo consumer_timeout como undefined no advanced.config, mas a documentação do RabbitMQ não recomenda isso. Um valor alto, de algumas horas, por exemplo, mantém a proteção sem derrubar jobs longos.

Por que o número de consumidores do RabbitMQ cai para zero com a aplicação rodando?

Geralmente por um destes três motivos: o timeout de confirmação de entrega fechou o canal do consumidor, o broker cancelou o consumidor porque a fila foi excluída ou ficou indisponível, ou a conexão TCP morreu e foi descartada depois de heartbeats perdidos. Clientes que não reabrem o canal nem refazem a assinatura continuam conectados, mas não consomem nada.

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Consulta gratuita

Um olhar especializado sobre seu cluster RabbitMQ

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail