BlogRabbitMQ

Colas de quórum de RabbitMQ: cómo funcionan y cuándo la cola clásica sigue siendo mejor

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 14 min de lectura

Colas de quórum de RabbitMQ: cómo funcionan y cuándo la cola clásica sigue siendo mejor
En esta página

La respuesta corta: use colas de quórum (quorum queues) de forma predeterminada y reserve las colas clásicas para trabajo realmente transitorio y de alta rotación, donde perder un mensaje ante la caída de un nodo es aceptable. Esa ha sido la recomendación correcta desde hace tiempo, pero el razonamiento importa más que la regla, porque las dos excepciones y el coste de la migración son lo que realmente causa problemas a los equipos.

Esta pregunta surge constantemente en las evaluaciones de RabbitMQ, por lo general de una de dos formas: un operador que ha heredado un clúster lleno de colas clásicas y quiere saber si la conversión justifica la interrupción, o un equipo que diseña algo nuevo y necesita una opción predeterminada defendible.

Los tres tipos de cola, comparados en lo que importa

RabbitMQ tiene tres mecanismos de almacenamiento que vale la pena conocer, y el tercero ni siquiera es una cola, que es justamente por lo que se usa mal.

Matriz comparativa de la cola clásica, la cola de quórum y el stream de RabbitMQ según almacenamiento, comportamiento de lectura, replicación, si sobreviven a un corte de suministro eléctrico y para qué sirve mejor cada uno

La fila que decide la mayoría de los diseños es Sobrevive a un corte de suministro eléctrico (Survives power loss). Una cola de quórum replica y escribe en disco cada mensaje en un quórum de nodos antes de confirmarlo al publicador. Una cola clásica persiste localmente, pero no tiene replicación, así que la caída de un nodo se lleva la cola consigo. Un stream replica, pero no hace fsync antes de confirmar, lo que significa que tiene la misma exposición que Kafka: está bien para telemetría, no para pagos.

La fila que la gente interpreta mal es Lecturas (Reads). Las colas clásicas y de quórum son destructivas: un consumidor toma el mensaje y este desaparece. Los streams no son destructivos: el mensaje permanece, y muchos consumidores pueden leer el mismo historial de forma independiente, cada uno desde su propio offset. Si se encuentra con la necesidad de volver a leer mensajes de una cola, lo que necesita es un stream.

Por qué una cola de quórum puede permitirse el fsync

La objeción habitual a las colas de quórum es que escribir en disco con cada mensaje tiene que ser lento. No lo es, y la razón es una decisión de diseño que vale la pena entender, porque también es la diferencia técnica más marcada entre RabbitMQ y Kafka.

Diagrama de un publicador que escribe en la réplica líder de una cola de quórum, la cual anexa a un write-ahead log compartido por varias colas y replicado en dos réplicas seguidoras, en contraste con el fsync amortizado de RabbitMQ frente al fsync por partición de Kafka

Las colas de quórum comparten un write-ahead log. Una sola escritura en disco cubre mensajes destinados a muchas colas distintas, así que el coste se amortiza en todo el broker en lugar de pagarse por separado en cada cola. Eso es lo que permite tener al mismo tiempo muchas colas, replicación con fsync y un rendimiento real: tres propiedades entre las que normalmente hay que elegir dos.

Kafka funciona al revés: el fsync se hace por partición, lo que lo hace tan costoso que Kafka lo desaconseja de forma predeterminada y depende solo de la replicación. No es tanto un defecto como una apuesta distinta, pero significa que un mensaje confirmado en Kafka está en la caché de páginas de varios brokers, no en disco.

Hay un segundo beneficio, más sutil. En una cola de quórum, Raft cubre el estado de entrega, no solo el contenido de los mensajes: qué mensaje está asignado a qué consumidor y cuántos créditos tiene ese consumidor. Tras un failover del líder, el nuevo líder retoma con ese estado intacto en lugar de reentregar un lote completo. Ese mecanismo es lo que hace posibles el TTL por mensaje, las prioridades, los retrasos y el enrutamiento a dead-letter.

Cómo ofrecen las colas de quórum durabilidad y failover

La amortización del fsync que vimos arriba explica por qué las colas de quórum son lo bastante rápidas para usarlas de forma predeterminada. No explica cómo sobreviven realmente a la caída de un nodo en plena operación, que es la parte que conviene entender antes de confiar en ellas en producción.

Una cola de quórum es un grupo Raft: un número impar de miembros, uno por nodo, con un miembro elegido como líder en cada momento. El líder acepta todas las publicaciones y entregas a consumidores; los seguidores replican el log del líder y votan en las elecciones. Cuando el líder deja de responder, porque el nodo se ha caído o la red lo ha dejado aislado, los seguidores lo detectan por un heartbeat perdido, esperan un tiempo de espera de elección aleatorio para que dos seguidores no convoquen una elección en el mismo instante, y el primero que obtiene la mayoría de los votos se convierte en el nuevo líder para un nuevo término. Sin intervención del operador y sin tiempo de inactividad visible para el cliente más allá de la reconexión.

Qué significa realmente una confirmación al publicador: RabbitMQ solo envía la confirmación cuando el mensaje se ha escrito en la mayoría de los miembros del grupo, no solo en el líder. En una cola de tres miembros, eso es dos de tres. En ese punto la escritura es durable aunque el nodo con la tercera réplica nunca vuelva; perderlo le cuesta una réplica, no el mensaje.

Ese requisito de mayoría también define la disponibilidad según el número de fallos. Con tres miembros: si pierde uno, los dos restantes siguen formando mayoría, así que la cola sigue aceptando escrituras y simplemente opera con una réplica menos hasta que el nodo ausente vuelve y se pone al día desde el log de Raft. Si pierde dos, el único nodo que sobrevive no puede formar mayoría por sí solo, así que la cola deja de aceptar escrituras por completo, por diseño, en lugar de arriesgarse a que un miembro con un log incompleto se convierta en la única fuente de verdad. Es la misma lógica de pause_minority a nivel de clúster, aplicada a cada cola.

Por eso un número par de miembros es peor de lo que parece, y no solo innecesario. Una cola de cuatro miembros sigue tolerando la pérdida de un solo miembro, porque con dos supervivientes de cuatro ya no hay mayoría: ha añadido una réplica entera, con su sobrecarga de Raft y su coste de memoria, para obtener exactamente la misma tolerancia a fallos que con tres. Por esta razón, el número de miembros siempre debe ser impar. La ubicación de las réplicas sigue la misma lógica que la de los nodos del clúster: un miembro por nodo, repartidos en hosts o zonas de disponibilidad distintos, para que una sola fallo de infraestructura no pueda llevarse dos miembros de la misma cola a la vez.

Un ejemplo práctico: colas de quórum para el procesamiento de pagos

El procesamiento de pagos es la carga de trabajo para la que se creó el modelo de durabilidad descrito arriba: cada mensaje importa, el orden importa dentro de una cuenta y la duplicación silenciosa es peor que un reintento lento. Así encajan las piezas en este caso concreto.

  • Topología. Una cola de quórum con tres miembros, un nodo por zona de disponibilidad, cumple el requisito de durabilidad y soporta la caída de una zona completa sin ningún tratamiento especial. Es el mismo patrón de tres zonas de disponibilidad que se describe en nuestra guía de alta disponibilidad, recuperación ante desastres y dimensionamiento de clústeres; una carga de pagos es justamente el caso que justifica no reducirla a una sola zona para ahorrarse un nodo.
  • Publisher confirms, no fire-and-forget. El servicio que inicia un pago espera la confirmación de publicación del broker antes de comunicar al llamador que el pago se ha aceptado. Con la garantía de escritura en mayoría descrita arriba, esa confirmación significa que la instrucción de pago es durable en al menos dos de tres nodos antes de que se informe a cualquier sistema posterior.
  • Reintentos acotados con dead-letter. Configure x-delivery-limit en la cola para que un mensaje que sigue fallando en el procesamiento del consumidor no quede en un bucle infinito. Cuando agote sus intentos de entrega, enrútelo a una cola dead-letter dedicada en lugar de descartarlo. Una DLQ de pagos debe tratarse como una condición de alerta, no como una papelera: todo lo que llegue ahí requiere que lo revise una persona o un proceso automático de conciliación, porque representa un pago que no se completó correctamente en los primeros intentos.
  • Consumidores idempotentes basados en el ID de pago. Las colas de quórum, al igual que las clásicas, ofrecen entrega at-least-once (al menos una vez). Con el límite de entregas y el DLX descritos arriba, un consumidor puede ver el mismo mensaje de pago más de una vez. Diseñe el consumidor para que compruebe (o haga un upsert contra) un ID de pago que ya ha registrado como procesado antes de volver a aplicar la transacción, de modo que una reentrega no tenga efecto en lugar de generar un cobro o un asiento contable duplicado.
  • Single active consumer para una liquidación ordenada. Cuando el orden de liquidación importa dentro de una cuenta, por ejemplo al aplicar débitos y créditos en secuencia, configure x-single-active-consumer en la cola para que solo una instancia de consumidor la procese a la vez, con failover automático a un consumidor de reserva si el activo se cae. Esto sacrifica algo de rendimiento a cambio de un orden estricto por cola, que suele ser la decisión correcta cuando se mueve dinero.
  • Qué monitorizar. La profundidad de la cola y el lag de los consumidores en la propia cola de pagos, la profundidad de la DLQ (debe mantenerse cerca de cero y cualquier crecimiento sostenido es un incidente), el número de reentregas por consumidor (una tendencia al alza apunta a un bug del consumidor, no a la salud del broker) y el estado de sincronización de las réplicas entre los tres miembros, para detectar una réplica rezagada antes de que sea la única que queda. Para patrones más allá de esta cola, consulte cómo se combinan las mismas garantías de durabilidad en un diseño orientado a eventos más amplio en exchanges, colas y bindings para microservicios, y para conocer el panorama completo de cómo AceMQ define el alcance de un diseño de mensajería apto para pagos, consulte resiliencia y optimización de pagos.

Lo que se pierde al convertir

La mayoría de las recomendaciones se quedan en «use colas de quórum». La parte útil son las dos cosas que realmente pillan por sorpresa a los equipos.

  • El uso de memoria por cola es mayor. Una cola de quórum lleva estado de Raft y ocupa más memoria que una cola clásica. Si su diseño tiene miles de colas pequeñas y de vida corta (un patrón habitual por sesión o por solicitud), convertirlas todas a la vez puede llevar al clúster a una presión de memoria que antes no existía. Esta es la forma más habitual en que una migración bien intencionada termina provocando un incidente.
  • La prioridad no funciona igual. Las colas clásicas implementan la prioridad mediante x-max-priority. Las colas de quórum gestionan la prioridad de otra forma y no ofrecen un mecanismo idéntico, así que una cola cuyo comportamiento depende de la semántica de prioridad de las clásicas necesita un rediseño, no simplemente volver a declararla. Identifique estos casos antes de planificar la migración, no durante.

También hay un límite estricto que conviene conocer: una cola de quórum no se fragmenta (sharding). Llega a un máximo de unos 80 000 mensajes por segundo con replicación y fsync, y no es posible dividir una cola entre varios nodos para ganar velocidad. El rendimiento agregado de muchas colas escala sin problemas, pero un único flujo muy intenso necesita sharding a nivel de aplicación: publicar en N colas con una routing key que reparta la carga. Explicamos esa restricción y cómo se compara con el particionamiento de Kafka en RabbitMQ frente a Kafka.

Cómo elegir y cuánto cuesta realmente una conversión

Cuatro preguntas definen la decisión para cada cola.

Diagrama de decisión con cuatro preguntas sobre tolerancia a la pérdida de mensajes, funcionalidades por mensaje, tasa de rotación y necesidad de reproducción, que lleva a cola de quórum, cola clásica o stream, con la advertencia de que la conversión no se hace sobre la misma cola

La advertencia de ese diagrama es la realidad operativa: el tipo de cola se fija al declararla. No existe la conversión sobre la misma cola. Migrar significa declarar una nueva cola de quórum, apuntar a ella los publicadores y consumidores, drenar la cola clásica y eliminarla cuando quede vacía. En un sistema en producción, es un cambio coordinado con una ventana de drenaje, no una edición de configuración.

La secuencia que funciona: convierta primero, en lotes pequeños, las colas que transportan trabajo que no puede perder, vigilando la memoria a medida que avanza. Deje como clásicas las colas realmente transitorias. Resista la tentación de convertir todo de una sola vez: ese es precisamente el cambio que transforma una mejora de seguridad en una caída del servicio.

Si está evaluando una conversión en un entorno grande y quiere detectar los imprevistos de memoria y prioridad antes de empezar y no a mitad de camino, eso es parte normal de un health check de RabbitMQ, o bien hable con AceMQ para definir el alcance.

Varias de las creencias detrás de estas decisiones ya no son ciertas: mitos y realidades de RabbitMQ.

El tipo de cola es la segunda de siete decisiones de la guía de clústeres y dimensionamiento de RabbitMQ; elegir mal también es el patrón cuatro de diez de la guía de fiabilidad.

Preguntas frecuentes

¿Cuál es la diferencia entre una cola clásica y una cola de quórum?

Una cola clásica reside en un solo nodo con persistencia por mensaje; si ese nodo falla, la cola y su contenido quedan indisponibles hasta que vuelve. Una cola de quórum se replica en un número impar de nodos mediante consenso Raft y escribe cada mensaje en disco en un quórum de réplicas antes de confirmarlo al publicador. La clásica es local y rápida para cargas de alta rotación; la de quórum está replicada y es segura, y es la opción predeterminada recomendada para todo lo que no puede permitirse perder.

¿Son las colas de quórum más lentas que las colas clásicas?

Un poco, y menos de lo que la mayoría cree. Una sola cola de quórum ronda los 80 000 mensajes por segundo con replicación y fsync; una cola clásica rinde algo más porque no hace ninguna de las dos cosas. Las colas de quórum siguen siendo rápidas porque comparten un write-ahead log: un solo fsync cubre muchas colas y el coste se amortiza en lugar de pagarse por cada cola.

¿Cuándo debería seguir usando una cola clásica?

Cuando el trabajo es realmente transitorio y de alta rotación, y es aceptable perder un mensaje ante la caída de un nodo: difusiones de invalidación de caché, notificaciones efímeras, trabajo temporal que de todos modos se volverá a generar. Las colas clásicas también ocupan menos memoria por cola, algo importante si ejecuta un número muy elevado de colas pequeñas y de vida corta.

¿Puedo convertir una cola clásica en una cola de quórum sin recrearla?

No. El tipo de cola se fija al declararla, así que convertirla significa declarar una nueva cola de quórum, pasar a ella los publicadores y consumidores, drenar la cola clásica y luego eliminarla. Planifíquelo como una migración con una ventana de drenaje. Convertir miles de colas de una sola vez es la migración que más a menudo sale mal.

¿Admiten las colas de quórum prioridad de mensajes?

No de la misma manera. Las colas clásicas admiten prioridad mediante el argumento x-max-priority; las colas de quórum gestionan la prioridad de otra forma y no ofrecen un mecanismo idéntico, así que una cola que depende de la semántica de prioridad de las clásicas necesita un rediseño, no una simple conversión. Eso y el mayor uso de memoria por cola son los dos imprevistos que sorprenden a los equipos a mitad de la migración.

¿Cuántos nodos necesitan las colas de quórum?

Un número impar, con tres como base práctica: tolera la caída de un nodo y mantiene la mayoría. Cinco es habitual en despliegues más grandes y tolera dos. Más allá de cinco, la sobrecarga del consenso crece sin aportar mucha más seguridad, así que los clústeres más grandes suelen responder a motivos distintos de los requisitos del quórum.

¿Sustituyen los streams a las colas de quórum?

No: resuelven un problema distinto. Un stream es un log de solo anexado (append-only) con lecturas no destructivas, así que consumir no elimina el mensaje y muchos consumidores pueden leer el mismo historial de forma independiente. Una cola de quórum es una cola de trabajo con lecturas destructivas y confirmación (acknowledgement) por mensaje. Además, los streams no hacen fsync antes de confirmar, así que ofrecen una garantía de durabilidad más débil.

¿Sobreviven las colas de quórum a la caída de un nodo?

Sí, ese es su propósito principal. Una cola de quórum replica cada mensaje en la mayoría de sus miembros mediante consenso Raft antes de confirmar la publicación, así que una cola de tres miembros sigue operando tras perder un nodo y solo deja de aceptar escrituras si pierde un segundo nodo, porque ya no se pueden alcanzar dos de tres. Los miembros deben ubicarse uno por nodo, en hosts o zonas de disponibilidad distintos, para que una sola fallo de infraestructura no pueda eliminar más de una réplica a la vez.

¿Aguantan las colas de quórum el volumen del procesamiento de pagos?

Una sola cola de quórum llega a un máximo de unos 80 000 mensajes por segundo con replicación y fsync, muy por encima de lo que la mayoría de las cargas de pagos necesita por cola. Si un flujo concreto necesita más, distribúyalo en varias colas de quórum con una routing key en lugar de esperar que una sola cola escale más, ya que las colas de quórum no se fragmentan internamente. Combinado con publisher confirms, `x-delivery-limit`, dead-lettering y consumidores idempotentes, el rendimiento rara vez es el factor limitante en pagos; lo es la corrección ante los reintentos.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior de AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos