BlogRabbitMQ

consumer_timeout de RabbitMQ: qué hace y por qué desaparecen los consumidores

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 7 min de lectura

consumer_timeout de RabbitMQ: qué hace y por qué desaparecen los consumidores
En esta página

consumer_timeout es el timeout de confirmación de entregas de RabbitMQ. Si un consumidor retiene una entrega sin confirmarla durante más tiempo que el timeout, RabbitMQ cierra el canal de ese consumidor con una excepción de canal PRECONDITION_FAILED, y los mensajes no confirmados vuelven a la cola para volver a entregarse. El valor por defecto es de 30 minutos. A partir de RabbitMQ 4.3, solo se aplica a las quorum queues.

Solo afecta a los consumidores en modo de confirmación manual, el ajuste habitual en los clientes AMQP 0-9-1 cuando los mensajes no pueden perderse: el broker entrega un mensaje y espera a que el consumidor confirme los que ya ha terminado de procesar. El timeout existe para detectar consumidores que tomaron un mensaje y se quedaron colgados, de modo que el trabajo se vuelva a encolar en lugar de quedar retenido para siempre. Pero también afecta a consumidores sanos cuyos trabajos simplemente tardan más de 30 minutos, y ahí empieza la mayor parte de la confusión: la aplicación está en marcha, la conexión está abierta y el número de consumidores en la interfaz de gestión ha bajado a cero sin hacer ruido.

Cómo es el error del timeout de consumidor

El broker registra el cierre del canal con el consumer tag, el canal, la cola y el delivery tag. El mensaje que muestra la documentación de RabbitMQ es como este:

Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.

En el lado del cliente llega como una excepción de canal con PRECONDITION_FAILED. Como cierra el canal y no la conexión, la biblioteca cliente a menudo sigue conectada y no registra nada evidente salvo que se gestione el cierre del canal. La cola vuelve a mostrar sus mensajes como listos, se vuelven a entregar con el flag redelivered activado y el trabajo lento puede ejecutarse dos veces.

Tres motivos por los que un consumidor de RabbitMQ deja de consumir

El timeout es una de las tres formas en que un consumidor deja de consumir sin que la aplicación se lo pida. En la interfaz de gestión parecen iguales y necesitan soluciones distintas:

  • El timeout de confirmación cerró el canal. Aparece la línea de log anterior, la conexión sigue activa y el consumidor ha desaparecido. El trabajo tardó demasiado o el consumidor se quedó colgado.
  • El broker canceló el consumidor. Cuando se elimina una cola, o falla el nodo que la aloja, RabbitMQ envía al cliente un basic.cancel asíncrono. Los clientes anuncian la capacidad consumer_cancel_notify, algo que los clientes propios de RabbitMQ hacen por defecto, y la biblioteca cliente lo notifica mediante un callback como handleCancel en el cliente Java. Si la aplicación ignora ese callback, se queda con un canal sin ningún consumidor.
  • La conexión murió. Un balanceador de carga, un cortafuegos o una pasarela NAT descartó una conexión TCP inactiva, o el proceso cliente se congeló. Los heartbeats lo detectan: el valor por defecto recomendado es de 60 segundos y, tras dos heartbeats perdidos, el otro extremo se considera inalcanzable. Los TCP keepalives pueden hacer lo mismo a nivel del sistema operativo.

El orden de comprobación es primero el log del broker, después los callbacks de cierre de canal y de cancelación del cliente y, por último, la red. El log del broker le dice en pocos segundos cuál de las tres ha sido.

Configuración de consumer_timeout: global, por cola o desactivado

Defina el valor del timeout de forma global en el fichero de configuración de RabbitMQ, rabbitmq.conf, en milisegundos:

# one hour
consumer_timeout = 3600000

Por cola, a partir de RabbitMQ 3.12, con una policy o con un argumento de la cola. La policy es la mejor herramienta porque puede cambiarse sin volver a desplegar la aplicación:

rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues

El argumento de la cola es x-consumer-timeout, que se define al declararla, también en milisegundos.

RabbitMQ evalúa el timeout una vez por minuto, así que no se admiten valores inferiores a un minuto y no se recomiendan valores inferiores a cinco minutos. Puede desactivarse en advanced.config estableciendo consumer_timeout en undefined, pero la documentación recomienda un valor alto, de unas horas, en lugar de desactivarlo.

El cambio de RabbitMQ 4.3: solo para quorum queues

A partir de RabbitMQ 4.3, los timeouts de confirmación de entregas solo los admiten las quorum queues. Esto tiene dos consecuencias:

  • Los consumidores de colas clásicas pierden la protección. Un consumidor que toma un mensaje de una cola clásica y se queda colgado lo retendrá hasta que se cierre el canal o la conexión. Si dependía del timeout para recuperar consumidores atascados de colas clásicas, necesitará timeouts del lado del cliente o monitorización.
  • Pasar a quorum queues puede activarlo. Una carga que funcionaba sin problemas en colas clásicas con trabajos de una hora puede empezar a sufrir cierres de canal PRECONDITION_FAILED tras una migración a quorum queues. Defina un consumer-timeout por cola para esas colas como parte de la migración, no después del primer incidente.

Las diferencias más amplias entre tipos de cola se explican en migrar de colas clásicas a quorum queues.

Cómo detectar consumidores atascados antes de que salte el timeout

Un consumidor a punto de alcanzar el timeout parece sano desde fuera: conectado, suscrito y con mensajes en curso. Hay tres comprobaciones que lo revelan con antelación.

Mensajes sin confirmar que dejan de moverse. Compare los mensajes listos, los no confirmados y el número de consumidores de cada cola:

rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation

Una cola cuyo messages_unacknowledged se mantiene plano mientras crece messages_ready tiene consumidores que retienen entregas que no terminan. Un consumer_utilisation muy por debajo de 1.0 en una cola con acumulación dice lo mismo desde el otro lado: la cola tiene mensajes pero no puede entregarlos, porque los consumidores están en su límite de prefetch.

Qué consumidores los retienen. rabbitmqctl list_consumers enumera todas las suscripciones con su canal, su consumer tag, si se esperan confirmaciones y su límite de prefetch. Un consumidor con un prefetch alto en una cola lenta es el primer sospechoso.

El número de consumidores a lo largo del tiempo. En Prometheus, con las métricas por objeto activadas para que los valores se notifiquen por cola y no agregados, configure alertas cuando rabbitmq_queue_consumers baje a cero en colas que siempre deberían tener consumo, y cuando rabbitmq_queue_messages_unacked suba sin un aumento equivalente de las tasas de entrega y confirmación. Esas dos alertas detectan el timeout, una cancelación iniciada por el broker y una conexión muerta, sea cual sea la que ocurra primero.

Cómo evitar que los consumidores agoten el timeout

Subir el timeout es la solución correcta solo cuando el trabajo realmente tarda tanto. El resto depende del comportamiento del cliente:

  • Dimensione el timeout por cola. Defina consumer-timeout en las colas que transportan trabajos largos, con un margen por encima del mayor tiempo de procesamiento legítimo, y no toque el valor global por defecto.
  • Mantenga un prefetch bajo para el trabajo lento. Cada mensaje precargado ya es una entrega que el timeout está contando. Con un prefetch de 50 y trabajos que tardan un minuto cada uno, la entrega número 31 lleva más de 30 minutos retenida antes incluso de que el consumidor empiece con ella, y el canal se cierra con el timeout por defecto. Consulte el prefetch count de RabbitMQ.
  • Confirme en el mismo canal que recibió la entrega, y en todas las rutas del código, incluida la de excepciones. Un ack que falta en una rama de error es la causa más habitual de un consumidor que retiene entregas hasta agotar el timeout.
  • Gestione el cierre de canales y las notificaciones de cancelación. Ante un cierre de canal o un basic.cancel, abra un canal nuevo y vuelva a suscribirse. La recuperación automática de conexiones de las bibliotecas cliente reconecta las conexiones caídas, pero no siempre cubre un único canal cerrado ni una cancelación iniciada por el broker.
  • Haga que el procesamiento sea idempotente. Una entrega que agota el timeout se vuelve a encolar y a entregar, así que un trabajo que estaba hecho al 90 por ciento se ejecuta otra vez. Los mensajes que nunca podrán terminar a tiempo deben ir a una dead letter queue y no a un bucle de reentregas; consulte las dead letter queues de RabbitMQ.
  • Configure alertas sobre los mensajes no confirmados y el número de consumidores por cola, no solo sobre la profundidad de la cola. Cero consumidores en una cola que siempre debería tenerlos es la señal más temprana de los tres modos de fallo.

Estos patrones aparecen con regularidad en los tickets de soporte de RabbitMQ que atendemos: consumidores que se dan por desaparecidos mientras la aplicación está sana, tras una migración a quorum queues o un cambio en los límites de memoria. Si necesita que alguien más revise un clúster que se comporta así, el soporte de RabbitMQ de AceMQ lo cubre, y la guía de resolución de problemas de RabbitMQ recorre el diagnóstico más amplio.

Fuentes

Preguntas frecuentes

¿Qué es consumer_timeout en RabbitMQ?

Es el timeout de confirmación (acknowledgement) de las entregas. Si un consumidor retiene una entrega sin confirmarla durante más tiempo que el timeout, RabbitMQ cierra el canal de ese consumidor con una excepción de canal PRECONDITION_FAILED, y los mensajes no confirmados vuelven a la cola. El valor por defecto es de 30 minutos.

¿Cuál es el timeout de consumidor por defecto en RabbitMQ?

30 minutos (1.800.000 ms). RabbitMQ comprueba una vez por minuto si debe aplicarlo, así que no se admiten valores inferiores a un minuto y no se recomiendan valores inferiores a cinco minutos.

¿Cómo cambio el timeout de consumidor de una sola cola?

A partir de RabbitMQ 3.12, defina la clave consumer-timeout en una policy o el argumento x-consumer-timeout al declarar la cola. Ambos se expresan en milisegundos. Un valor por cola es más seguro que subir el consumer_timeout global para todas las colas del clúster.

¿Se aplica consumer_timeout a las colas clásicas en RabbitMQ 4.3?

No. A partir de RabbitMQ 4.3, los timeouts de confirmación de entregas solo los admiten las quorum queues. En la 4.3, el broker ya no cierra el canal de un consumidor de una cola clásica que retiene una entrega indefinidamente.

¿Puedo desactivar el timeout de consumidor de RabbitMQ?

Sí, estableciendo consumer_timeout en undefined en advanced.config, pero la documentación de RabbitMQ lo desaconseja. Un valor alto, por ejemplo de unas horas, mantiene la protección sin acabar con los trabajos largos.

¿Por qué el número de consumidores de RabbitMQ baja a cero mientras la aplicación sigue funcionando?

Normalmente por una de estas tres cosas: el timeout de confirmación de entregas cerró el canal del consumidor, el broker canceló el consumidor porque su cola se eliminó o dejó de estar disponible, o la conexión TCP murió y se descartó tras perderse varios heartbeats. Los clientes que no vuelven a abrir el canal y a suscribirse siguen conectados, pero no consumen nada.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior de AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos