Guía · RabbitMQ

Guía de clústeres y dimensionamiento de RabbitMQ

Un clúster de RabbitMQ que se mantiene en pie es el resultado de un conjunto de decisiones tomadas en el orden correcto: cuántos nodos y dónde, qué tipo de cola recibe cada carga de trabajo, cuánta memoria y cuánto disco necesita cada nodo en el pico, y qué pasa cuando la red se comporta mal. Esta guía las aborda en ese orden.

Tyler Eastridge

Por Tyler Eastridge, Director de Operaciones

LinkedIn · Actualizado el · 5 min de lectura · 7 secciones

En esta página

Los clústeres en un párrafo

Los clústeres en un párrafo

Tres nodos, o cinco en entornos que deben sobrevivir a dos fallos, en hosts separados y en dominios de fallo distintos, con la gestión de particiones pause_minority. Colas de quórum (quorum queues) para todo lo que sea durable, streams para reprocesamiento y fan-out, colas clásicas solo para tráfico transitorio, y nada de mirroring clásico. Dimensione la memoria y el disco según el backlog pico y no según el throughput medio, deje margen en los schedulers y ajuste los límites del watermark y del espacio libre en disco al host real. Después, ajuste los heartbeats y net_ticktime a la red real, y documente cada política.

Número y ubicación de los nodos

Las colas de quórum (quorum queues) necesitan una mayoría, así que el número de nodos es impar: tres sobreviven a un fallo y cinco, a dos. Los nodos van en hosts físicos distintos, en zonas de disponibilidad (AZ) distintas cuando el proveedor cloud las ofrece, y en una red con una latencia baja y estable entre ellos. Los clústeres de dos nodos no pueden formar mayoría y son peores que un solo nodo; los números pares desperdician un nodo. No extienda un clúster entre regiones.

De nuestros proyectos. De los 8 clústeres cuyo tamaño registramos en 22 entornos evaluados, 4 tenían tres nodos y 3 un número par, dos o cuatro. Uno de los entornos de cuatro nodos se evaluó precisamente por eso: un número par o bien no tolera ninguna pérdida o bien puede dividirse en dos mitades sin mayoría.

Qué aporta cada número de nodos a un clúster con colas de quórum (quorum queues)
NodosMayoría necesariaFallos de nodo toleradosEn la práctica
110Sin redundancia
220Peor que un solo nodo: perder cualquiera de los dos nodos supone perder la mayoría
321El clúster más pequeño que sobrevive a un fallo
431No tolera más fallos que tres nodos y puede dividirse en dos mitades
532Para entornos que deben sobrevivir a dos fallos
Tabla · Qué aporta cada número de nodos a un clúster con colas de quórum (quorum queues). En pantallas pequeñas, desplácese lateralmente.

Un tipo de cola por carga de trabajo, elegido a conciencia

Colas de quórum para todo lo que deba sobrevivir a la pérdida de un nodo: replican con Raft, eligen líderes ante un fallo y admiten límites de entrega y dead-lettering. Streams para fan-out de alto throughput y reprocesamiento. Colas clásicas solo para tráfico transitorio y no replicado. Las colas clásicas con mirroring están obsoletas y hay que migrarlas, no ajustarlas.

Dimensione memoria, disco y CPU para el pico, no para la media

La memoria la determina el backlog: una cola que normalmente no contiene nada puede acumular millones de mensajes durante una caída de los consumidores, y ese es el caso al que el nodo debe sobrevivir. El disco lo determina ese mismo backlog, más los segmentos de las colas de quórum y el write-ahead log. La CPU la determina el margen de los schedulers de Erlang con las tasas pico de publicación y consumo, con núcleos dedicados en hosts virtualizados. Ajuste vm_memory_high_watermark y disk_free_limit al host real para que las alarmas se disparen antes de que caiga el nodo, y configure alertas sobre esas alarmas.

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contacto

Decida qué pasa en una partición antes de que ocurra

cluster_partition_handling es pause_minority en producción: el lado minoritario se pausa, el mayoritario sigue dando servicio y no hay nada que conciliar cuando la red se restablece. En RabbitMQ 4.3 y posteriores esto ya no se aplica: la versión 4.3.0 eliminó Mnesia y, con ella, las estrategias de gestión de particiones; cluster_partition_handling todavía se acepta en rabbitmq.conf, pero no tiene ningún efecto, y el almacén de metadatos, las colas de quórum y los streams se basan todos en Raft, por lo que la regla de mayoría de Raft decide por sí sola qué lado sigue dando servicio. Elimine esa clave al actualizar. autoheal permite que ambos lados acepten escrituras y luego descarta uno de ellos, lo que implica pérdida de datos por diseño. ignore es para un laboratorio. Combínelo con colas de quórum y un número impar de nodos, y la mayoría de los incidentes de partición se convierten en un nodo pausado y una alerta, en lugar de una investigación por pérdida de datos.

Ajuste el clúster a la red en la que se ejecuta

Los valores predeterminados suponen una LAN. En la nube y en enlaces WAN, alargue los heartbeats, ajuste tcp_listen_options para el keepalive y los buffers, y aumente el net_ticktime de Erlang para que la latencia transitoria no se registre como un fallo de nodo. Mantenga los relojes sincronizados con NTP. Valide en condiciones reales: un clúster que pasa las pruebas en el laboratorio y se particiona cada semana en producción suele tener un problema de net_ticktime.

Políticas, no argumentos por cola

El tipo de cola, los límites de entrega, los dead-letter exchanges, el TTL, el max-length y el comportamiento de overflow van en políticas que se aplican por patrón, para que un cambio de topología no exija volver a desplegar los clientes y un auditor pueda leer la intención en un solo lugar. Políticas focalizadas, no generales: una política que coincide con todas las colas es justamente la forma en que el mirroring se descontroló. Mantenga las políticas en control de versiones junto con la exportación de definiciones.

El clúster es tan estable como sus clientes

Conexiones de larga duración con pools de canales, prefetch acotado, confirmaciones (acks) oportunas, publisher confirms para todo lo que no se pueda perder y recuperación automática de conexiones. La mayoría de los síntomas del clúster —contadores de mensajes sin confirmar que no paran de subir, agotamiento de descriptores de fichero, memoria que parece una fuga— empiezan en el código de los clientes. Revise los clientes como parte del diseño del clúster, no después del primer incidente.

Preguntas frecuentes

¿Cuántos nodos debe tener un clúster de RabbitMQ?

Tres para la mayoría de los entornos de producción, y cinco cuando se debe sobrevivir a dos fallos simultáneos. Siempre un número impar, porque las colas de quórum necesitan mayoría; dos nodos son peores que uno. Los nodos van en hosts separados y, en la nube, en zonas de disponibilidad distintas.

¿Conviene usar colas de quórum o colas clásicas?

Colas de quórum para todo lo que deba sobrevivir a la pérdida de un nodo, streams para reprocesamiento y fan-out de alto throughput, y colas clásicas solo para tráfico transitorio que se puede perder. Las colas clásicas con mirroring están obsoletas y hay que migrarlas.

¿Cómo se dimensiona un nodo de RabbitMQ?

Según el backlog pico, no según el throughput medio. La memoria y el disco deben poder contener el backlog más grande que pueda generar una caída de los consumidores, más los segmentos de las colas de quórum y el write-ahead log. La CPU necesita margen en los schedulers de Erlang con las tasas pico, con núcleos dedicados si el host está virtualizado.

¿Puede un clúster de RabbitMQ funcionar en varias zonas de disponibilidad?

Sí, y debería hacerlo, dentro de una misma región. Entre regiones, no: la distribución entre nodos supone baja latencia, y el jitter de la WAN se convierte en particiones. Use un clúster por región con Federation o Shovel entre ellos.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Tanto si está resolviendo un incidente en producción como si planifica una migración o quiere una segunda opinión sobre su arquitectura, nuestro equipo está preparado. Sin discursos comerciales, solo respuestas.

Escríbanos