BlogRabbitMQ

Colas de quórum de RabbitMQ: cómo funcionan y cuándo la cola clásica sigue siendo mejor

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el · 14 min de lectura

Colas de quórum de RabbitMQ: cómo funcionan y cuándo la cola clásica sigue siendo mejor
On this page

La respuesta corta: use colas de quórum (quorum queues) de forma predeterminada y reserve las colas clásicas para trabajo realmente transitorio y de alta rotación, donde perder un mensaje ante la falla de un nodo es aceptable. Esa ha sido la recomendación correcta desde hace tiempo, pero el razonamiento importa más que la regla, porque las dos excepciones y el costo de la migración son lo que realmente les causa problemas a los equipos.

Esta pregunta surge constantemente en las evaluaciones de RabbitMQ, por lo general de una de dos formas: un operador que heredó un clúster lleno de colas clásicas y quiere saber si la conversión justifica la interrupción, o un equipo que diseña algo nuevo y necesita una opción predeterminada defendible.

Los tres tipos de cola, comparados en lo que importa

RabbitMQ tiene tres mecanismos de almacenamiento que vale la pena conocer, y el tercero ni siquiera es una cola, que es justamente por lo que se usa mal.

Matriz comparativa de la cola clásica, la cola de quórum y el stream de RabbitMQ según almacenamiento, comportamiento de lectura, replicación, si sobreviven a un corte de energía y para qué sirve mejor cada uno

La fila que decide la mayoría de los diseños es Sobrevive a un corte de energía (Survives power loss). Una cola de quórum replica y escribe en disco cada mensaje en un quórum de nodos antes de confirmarlo al publicador. Una cola clásica persiste localmente, pero no tiene replicación, así que la falla de un nodo se lleva la cola consigo. Un stream replica, pero no hace fsync antes de confirmar, lo que significa que tiene la misma exposición que Kafka: está bien para telemetría, no para pagos.

La fila que la gente interpreta mal es Lecturas (Reads). Las colas clásicas y de quórum son destructivas: un consumidor toma el mensaje y este desaparece. Los streams no son destructivos: el mensaje permanece, y muchos consumidores pueden leer el mismo historial de forma independiente, cada uno desde su propio offset. Si se encuentra con la necesidad de volver a leer mensajes de una cola, lo que necesita es un stream.

Por qué una cola de quórum puede permitirse el fsync

La objeción habitual a las colas de quórum es que escribir en disco con cada mensaje tiene que ser lento. No lo es, y la razón es una decisión de diseño que vale la pena entender, porque también es la diferencia técnica más marcada entre RabbitMQ y Kafka.

Diagrama de un publicador que escribe en la réplica líder de una cola de quórum, la cual anexa a un write-ahead log compartido por varias colas y replicado en dos réplicas seguidoras, en contraste con el fsync amortizado de RabbitMQ frente al fsync por partición de Kafka

Las colas de quórum comparten un write-ahead log. Una sola escritura en disco cubre mensajes destinados a muchas colas distintas, así que el costo se amortiza en todo el broker en lugar de pagarse por separado en cada cola. Eso es lo que permite tener al mismo tiempo muchas colas, replicación con fsync y un rendimiento real: tres propiedades entre las que normalmente hay que elegir dos.

Kafka funciona al revés: el fsync se hace por partición, lo que lo vuelve tan costoso que Kafka lo desaconseja de forma predeterminada y depende solo de la replicación. No es tanto un defecto como una apuesta distinta, pero significa que un mensaje confirmado en Kafka está en la caché de páginas de varios brokers, no en disco.

Hay un segundo beneficio, más sutil. En una cola de quórum, Raft cubre el estado de entrega, no solo el contenido de los mensajes: qué mensaje está asignado a qué consumidor y cuántos créditos tiene ese consumidor. Tras un failover del líder, el nuevo líder retoma con ese estado intacto en lugar de reentregar un lote completo. Ese mecanismo es lo que hace posibles el TTL por mensaje, las prioridades, los retrasos y el enrutamiento a dead-letter.

Cómo ofrecen las colas de quórum durabilidad y failover

La amortización del fsync que vimos arriba explica por qué las colas de quórum son lo bastante rápidas para usarlas de forma predeterminada. No explica cómo sobreviven realmente a la caída de un nodo en plena operación, que es la parte que conviene entender antes de confiar en ellas en producción.

Una cola de quórum es un grupo Raft: un número impar de miembros, uno por nodo, con un miembro elegido como líder en cada momento. El líder acepta todas las publicaciones y entregas a consumidores; los seguidores replican el log del líder y votan en las elecciones. Cuando el líder deja de responder, porque el nodo se cayó o la red lo dejó aislado, los seguidores lo detectan por un heartbeat perdido, esperan un tiempo de espera de elección aleatorio para que dos seguidores no convoquen una elección en el mismo instante, y el primero que obtiene la mayoría de los votos se convierte en el nuevo líder para un nuevo término. Sin intervención del operador y sin tiempo de inactividad visible para el cliente más allá de la reconexión.

Qué significa realmente una confirmación al publicador: RabbitMQ solo envía la confirmación cuando el mensaje se escribió en la mayoría de los miembros del grupo, no solo en el líder. En una cola de tres miembros, eso es dos de tres. En ese punto la escritura es durable aunque el nodo con la tercera réplica nunca vuelva; perderlo le cuesta una réplica, no el mensaje.

Ese requisito de mayoría también define la disponibilidad según la cantidad de fallas. Con tres miembros: si pierde uno, los dos restantes siguen formando mayoría, así que la cola sigue aceptando escrituras y simplemente opera con una réplica menos hasta que el nodo faltante vuelve y se pone al día desde el log de Raft. Si pierde dos, el único nodo que sobrevive no puede formar mayoría por sí solo, así que la cola deja de aceptar escrituras por completo, por diseño, en lugar de arriesgarse a que un miembro con un log incompleto se convierta en la única fuente de verdad. Es la misma lógica de pause_minority a nivel de clúster, aplicada a cada cola.

Por eso un número par de miembros es peor de lo que parece, y no solo innecesario. Una cola de cuatro miembros sigue tolerando la pérdida de un solo miembro, porque con dos sobrevivientes de cuatro ya no hay mayoría: agregó una réplica entera, con su overhead de Raft y su costo de memoria, para obtener exactamente la misma tolerancia a fallas que con tres. Por esta razón, la cantidad de miembros siempre debe ser impar. La ubicación de las réplicas sigue la misma lógica que la de los nodos del clúster: un miembro por nodo, repartidos en hosts o zonas de disponibilidad distintos, para que una sola falla de infraestructura no pueda llevarse dos miembros de la misma cola a la vez.

Un ejemplo práctico: colas de quórum para el procesamiento de pagos

El procesamiento de pagos es la carga de trabajo para la que se creó el modelo de durabilidad descrito arriba: cada mensaje importa, el orden importa dentro de una cuenta y la duplicación silenciosa es peor que un reintento lento. Así encajan las piezas en este caso concreto.

  • Topología. Una cola de quórum con tres miembros, un nodo por zona de disponibilidad, cumple el requisito de durabilidad y soporta la falla de una zona completa sin ningún tratamiento especial. Es el mismo patrón de tres zonas de disponibilidad que se describe en nuestra guía de alta disponibilidad, recuperación ante desastres y dimensionamiento de clústeres; una carga de pagos es justamente el caso que justifica no reducirla a una sola zona para ahorrarse un nodo.
  • Publisher confirms, no fire-and-forget. El servicio que inicia un pago espera la confirmación de publicación del broker antes de avisarle al llamador que el pago fue aceptado. Con la garantía de escritura en mayoría descrita arriba, esa confirmación significa que la instrucción de pago es durable en al menos dos de tres nodos antes de que se le informe a cualquier sistema posterior.
  • Reintentos acotados con dead-letter. Configure x-delivery-limit en la cola para que un mensaje que sigue fallando en el procesamiento del consumidor no quede en un bucle infinito. Cuando agote sus intentos de entrega, enrútelo a una cola dead-letter dedicada en lugar de descartarlo. Una DLQ de pagos debe tratarse como una condición de alerta, no como una papelera: todo lo que llegue ahí requiere que lo revise una persona o un proceso automático de conciliación, porque representa un pago que no se completó correctamente en los primeros intentos.
  • Consumidores idempotentes basados en el ID de pago. Las colas de quórum, al igual que las clásicas, ofrecen entrega at-least-once (al menos una vez). Con el límite de entregas y el DLX descritos arriba, un consumidor puede ver el mismo mensaje de pago más de una vez. Diseñe el consumidor para que verifique (o haga un upsert contra) un ID de pago que ya registró como procesado antes de volver a aplicar la transacción, de modo que una reentrega no tenga efecto en lugar de generar un cobro o un asiento contable duplicado.
  • Single active consumer para una liquidación ordenada. Cuando el orden de liquidación importa dentro de una cuenta, por ejemplo al aplicar débitos y créditos en secuencia, configure x-single-active-consumer en la cola para que solo una instancia de consumidor la procese a la vez, con failover automático a un consumidor de respaldo si el activo se cae. Esto sacrifica algo de rendimiento a cambio de un orden estricto por cola, que suele ser la decisión correcta cuando se mueve dinero.
  • Qué monitorear. La profundidad de la cola y el lag de los consumidores en la propia cola de pagos, la profundidad de la DLQ (debe mantenerse cerca de cero y cualquier crecimiento sostenido es un incidente), la cantidad de reentregas por consumidor (una tendencia al alza apunta a un bug del consumidor, no a la salud del broker) y el estado de sincronización de las réplicas entre los tres miembros, para detectar una réplica rezagada antes de que sea la única que queda. Para patrones más allá de esta cola, vea cómo se combinan las mismas garantías de durabilidad en un diseño orientado a eventos más amplio en exchanges, colas y bindings para microservicios, y para conocer el panorama completo de cómo AceMQ define el alcance de un diseño de mensajería apto para pagos, vea resiliencia y optimización de pagos.

Lo que se pierde al convertir

La mayoría de las recomendaciones se quedan en “use colas de quórum”. La parte útil son las dos cosas que realmente toman por sorpresa a la gente.

  • El uso de memoria por cola es mayor. Una cola de quórum lleva estado de Raft y ocupa más memoria que una cola clásica. Si su diseño tiene miles de colas pequeñas y de vida corta (un patrón habitual por sesión o por solicitud), convertirlas todas a la vez puede llevar al clúster a una presión de memoria que antes no existía. Esta es la forma más común en que una migración bien intencionada termina provocando un incidente.
  • La prioridad no funciona igual. Las colas clásicas implementan la prioridad mediante x-max-priority. Las colas de quórum manejan la prioridad de otra forma y no ofrecen un mecanismo idéntico, así que una cola cuyo comportamiento depende de la semántica de prioridad de las clásicas necesita un rediseño, no simplemente volver a declararla. Identifique estos casos antes de planificar la migración, no durante.

También hay un límite estricto que conviene conocer: una cola de quórum no se fragmenta (sharding). Llega a un máximo de unos 80 000 mensajes por segundo con replicación y fsync, y no es posible dividir una cola entre varios nodos para ganar velocidad. El rendimiento agregado de muchas colas escala sin problemas, pero un único flujo muy intenso necesita sharding a nivel de aplicación: publicar en N colas con una routing key que reparta la carga. Explicamos esa restricción y cómo se compara con el particionamiento de Kafka en RabbitMQ frente a Kafka.

Cómo elegir y cuánto cuesta realmente una conversión

Cuatro preguntas definen la decisión para cada cola.

Diagrama de decisión con cuatro preguntas sobre tolerancia a la pérdida de mensajes, funcionalidades por mensaje, tasa de rotación y necesidad de reproducción, que lleva a cola de quórum, cola clásica o stream, con la advertencia de que la conversión no se hace sobre la misma cola

La advertencia de ese diagrama es la realidad operativa: el tipo de cola se fija al declararla. No existe la conversión sobre la misma cola. Migrar significa declarar una nueva cola de quórum, apuntar a ella los publicadores y consumidores, drenar la cola clásica y eliminarla cuando quede vacía. En un sistema en producción, es un cambio coordinado con una ventana de drenaje, no una edición de configuración.

La secuencia que funciona: convierta primero, en lotes pequeños, las colas que transportan trabajo que no puede perder, vigilando la memoria a medida que avanza. Deje como clásicas las colas realmente transitorias. Resista la tentación de convertir todo de una sola vez: ese es precisamente el cambio que transforma una mejora de seguridad en una caída del servicio.

Si está evaluando una conversión en un entorno grande y quiere detectar los imprevistos de memoria y prioridad antes de empezar y no a mitad de camino, eso es parte normal de un health check de RabbitMQ, o bien hable con AceMQ para definir el alcance.

Varias de las creencias detrás de estas decisiones ya no son ciertas: mitos y realidades de RabbitMQ.

El tipo de cola es la segunda de siete decisiones de la guía de clústeres y dimensionamiento de RabbitMQ; elegir mal también es el patrón cuatro de diez de la guía de confiabilidad.

Preguntas frecuentes

¿Cuál es la diferencia entre una cola clásica y una cola de quórum?

Una cola clásica vive en un solo nodo con persistencia por mensaje; si ese nodo falla, la cola y su contenido quedan indisponibles hasta que vuelve. Una cola de quórum se replica en un número impar de nodos mediante consenso Raft y escribe cada mensaje en disco en un quórum de réplicas antes de confirmarlo al publicador. La clásica es local y rápida para cargas de alta rotación; la de quórum está replicada y es segura, y es la opción predeterminada recomendada para todo lo que no puede darse el lujo de perder.

¿Las colas de quórum son más lentas que las colas clásicas?

Un poco, y menos de lo que la mayoría espera. Una sola cola de quórum ronda los 80 000 mensajes por segundo con replicación y fsync; una cola clásica rinde algo más porque no hace ninguna de las dos cosas. Las colas de quórum siguen siendo rápidas porque comparten un write-ahead log: un solo fsync cubre muchas colas y el costo se amortiza en lugar de pagarse por cada cola.

¿Cuándo debería seguir usando una cola clásica?

Cuando el trabajo es realmente transitorio y de alta rotación, y es aceptable perder un mensaje ante la falla de un nodo: difusiones de invalidación de caché, notificaciones efímeras, trabajo temporal que de todos modos se volverá a generar. Las colas clásicas también ocupan menos memoria por cola, algo importante si ejecuta una cantidad muy grande de colas pequeñas y de vida corta.

¿Puedo convertir una cola clásica en una cola de quórum sin recrearla?

No. El tipo de cola se fija al declararla, así que convertirla significa declarar una nueva cola de quórum, pasar a ella los publicadores y consumidores, drenar la cola clásica y luego eliminarla. Planifíquelo como una migración con una ventana de drenaje. Convertir miles de colas de una sola vez es la migración que más a menudo sale mal.

¿Las colas de quórum admiten prioridad de mensajes?

No de la misma manera. Las colas clásicas admiten prioridad mediante el argumento x-max-priority; las colas de quórum manejan la prioridad de otra forma y no ofrecen un mecanismo idéntico, así que una cola que depende de la semántica de prioridad de las clásicas necesita un rediseño, no una simple conversión. Eso y el mayor uso de memoria por cola son los dos imprevistos que sorprenden a los equipos a mitad de la migración.

¿Cuántos nodos necesitan las colas de quórum?

Un número impar, con tres como base práctica: tolera la falla de un nodo y mantiene la mayoría. Cinco es habitual en despliegues más grandes y tolera dos. Más allá de cinco, el overhead del consenso crece sin aportar mucha más seguridad, así que los clústeres más grandes suelen responder a motivos distintos de los requisitos del quórum.

¿Los streams reemplazan a las colas de quórum?

No: resuelven un problema distinto. Un stream es un log de solo anexado (append-only) con lecturas no destructivas, así que consumir no elimina el mensaje y muchos consumidores pueden leer el mismo historial de forma independiente. Una cola de quórum es una cola de trabajo con lecturas destructivas y confirmación (acknowledgement) por mensaje. Además, los streams no hacen fsync antes de confirmar, así que ofrecen una garantía de durabilidad más débil.

¿Las colas de quórum sobreviven a la falla de un nodo?

Sí, ese es su propósito principal. Una cola de quórum replica cada mensaje en la mayoría de sus miembros mediante consenso Raft antes de confirmar la publicación, así que una cola de tres miembros sigue operando tras perder un nodo y solo deja de aceptar escrituras si pierde un segundo nodo, porque ya no se pueden alcanzar dos de tres. Los miembros deben ubicarse uno por nodo, en hosts o zonas de disponibilidad distintos, para que una sola falla de infraestructura no pueda eliminar más de una réplica a la vez.

¿Las colas de quórum soportan el volumen del procesamiento de pagos?

Una sola cola de quórum llega a un máximo de unos 80 000 mensajes por segundo con replicación y fsync, muy por encima de lo que la mayoría de las cargas de pagos necesita por cola. Si un flujo específico necesita más, distribúyalo en varias colas de quórum con una routing key en lugar de esperar que una sola cola escale más, ya que las colas de quórum no se fragmentan internamente. Combinado con publisher confirms, `x-delivery-limit`, dead-lettering y consumidores idempotentes, el rendimiento rara vez es el factor limitante en pagos; lo es la corrección ante los reintentos.

Scott Sternloff

Autor

Scott SternloffArquitecto empresarial sénior

Arquitecto empresarial sénior en AceMQ. Escribe aquí los contenidos técnicos: arquitectura, clustering y migraciones de RabbitMQ, Kafka y Redis.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos