En esta página
Los clústeres en un párrafo
Los clústeres en un párrafo
Tres nodos, o cinco en entornos que deben sobrevivir a dos fallos, en hosts separados y en dominios de fallo distintos, con la gestión de particiones pause_minority. Colas de quórum (quorum queues) para todo lo que sea durable, streams para reprocesamiento y fan-out, colas clásicas solo para tráfico transitorio, y nada de mirroring clásico. Dimensione la memoria y el disco según el backlog pico y no según el throughput medio, deje margen en los schedulers y ajuste los límites del watermark y del espacio libre en disco al host real. Después, ajuste los heartbeats y net_ticktime a la red real, y documente cada política.
Número y ubicación de los nodos
Las colas de quórum (quorum queues) necesitan una mayoría, así que el número de nodos es impar: tres sobreviven a un fallo y cinco, a dos. Los nodos van en hosts físicos distintos, en zonas de disponibilidad (AZ) distintas cuando el proveedor cloud las ofrece, y en una red con una latencia baja y estable entre ellos. Los clústeres de dos nodos no pueden formar mayoría y son peores que un solo nodo; los números pares desperdician un nodo. No extienda un clúster entre regiones.
De nuestros proyectos. De los 8 clústeres cuyo tamaño registramos en 22 entornos evaluados, 4 tenían tres nodos y 3 un número par, dos o cuatro. Uno de los entornos de cuatro nodos se evaluó precisamente por eso: un número par o bien no tolera ninguna pérdida o bien puede dividirse en dos mitades sin mayoría.
| Nodos | Mayoría necesaria | Fallos de nodo tolerados | En la práctica |
|---|---|---|---|
| 1 | 1 | 0 | Sin redundancia |
| 2 | 2 | 0 | Peor que un solo nodo: perder cualquiera de los dos nodos supone perder la mayoría |
| 3 | 2 | 1 | El clúster más pequeño que sobrevive a un fallo |
| 4 | 3 | 1 | No tolera más fallos que tres nodos y puede dividirse en dos mitades |
| 5 | 3 | 2 | Para entornos que deben sobrevivir a dos fallos |
Un tipo de cola por carga de trabajo, elegido a conciencia
Colas de quórum para todo lo que deba sobrevivir a la pérdida de un nodo: replican con Raft, eligen líderes ante un fallo y admiten límites de entrega y dead-lettering. Streams para fan-out de alto throughput y reprocesamiento. Colas clásicas solo para tráfico transitorio y no replicado. Las colas clásicas con mirroring están obsoletas y hay que migrarlas, no ajustarlas.
Dimensione memoria, disco y CPU para el pico, no para la media
La memoria la determina el backlog: una cola que normalmente no contiene nada puede acumular millones de mensajes durante una caída de los consumidores, y ese es el caso al que el nodo debe sobrevivir. El disco lo determina ese mismo backlog, más los segmentos de las colas de quórum y el write-ahead log. La CPU la determina el margen de los schedulers de Erlang con las tasas pico de publicación y consumo, con núcleos dedicados en hosts virtualizados. Ajuste vm_memory_high_watermark y disk_free_limit al host real para que las alarmas se disparen antes de que caiga el nodo, y configure alertas sobre esas alarmas.
Decida qué pasa en una partición antes de que ocurra
cluster_partition_handling es pause_minority en producción: el lado minoritario se pausa, el mayoritario sigue dando servicio y no hay nada que conciliar cuando la red se restablece. En RabbitMQ 4.3 y posteriores esto ya no se aplica: la versión 4.3.0 eliminó Mnesia y, con ella, las estrategias de gestión de particiones; cluster_partition_handling todavía se acepta en rabbitmq.conf, pero no tiene ningún efecto, y el almacén de metadatos, las colas de quórum y los streams se basan todos en Raft, por lo que la regla de mayoría de Raft decide por sí sola qué lado sigue dando servicio. Elimine esa clave al actualizar. autoheal permite que ambos lados acepten escrituras y luego descarta uno de ellos, lo que implica pérdida de datos por diseño. ignore es para un laboratorio. Combínelo con colas de quórum y un número impar de nodos, y la mayoría de los incidentes de partición se convierten en un nodo pausado y una alerta, en lugar de una investigación por pérdida de datos.
Ajuste el clúster a la red en la que se ejecuta
Los valores predeterminados suponen una LAN. En la nube y en enlaces WAN, alargue los heartbeats, ajuste tcp_listen_options para el keepalive y los buffers, y aumente el net_ticktime de Erlang para que la latencia transitoria no se registre como un fallo de nodo. Mantenga los relojes sincronizados con NTP. Valide en condiciones reales: un clúster que pasa las pruebas en el laboratorio y se particiona cada semana en producción suele tener un problema de net_ticktime.
Políticas, no argumentos por cola
El tipo de cola, los límites de entrega, los dead-letter exchanges, el TTL, el max-length y el comportamiento de overflow van en políticas que se aplican por patrón, para que un cambio de topología no exija volver a desplegar los clientes y un auditor pueda leer la intención en un solo lugar. Políticas focalizadas, no generales: una política que coincide con todas las colas es justamente la forma en que el mirroring se descontroló. Mantenga las políticas en control de versiones junto con la exportación de definiciones.
El clúster es tan estable como sus clientes
Conexiones de larga duración con pools de canales, prefetch acotado, confirmaciones (acks) oportunas, publisher confirms para todo lo que no se pueda perder y recuperación automática de conexiones. La mayoría de los síntomas del clúster —contadores de mensajes sin confirmar que no paran de subir, agotamiento de descriptores de fichero, memoria que parece una fuga— empiezan en el código de los clientes. Revise los clientes como parte del diseño del clúster, no después del primer incidente.
Preguntas frecuentes
¿Cuántos nodos debe tener un clúster de RabbitMQ?
Tres para la mayoría de los entornos de producción, y cinco cuando se debe sobrevivir a dos fallos simultáneos. Siempre un número impar, porque las colas de quórum necesitan mayoría; dos nodos son peores que uno. Los nodos van en hosts separados y, en la nube, en zonas de disponibilidad distintas.
¿Conviene usar colas de quórum o colas clásicas?
Colas de quórum para todo lo que deba sobrevivir a la pérdida de un nodo, streams para reprocesamiento y fan-out de alto throughput, y colas clásicas solo para tráfico transitorio que se puede perder. Las colas clásicas con mirroring están obsoletas y hay que migrarlas.
¿Cómo se dimensiona un nodo de RabbitMQ?
Según el backlog pico, no según el throughput medio. La memoria y el disco deben poder contener el backlog más grande que pueda generar una caída de los consumidores, más los segmentos de las colas de quórum y el write-ahead log. La CPU necesita margen en los schedulers de Erlang con las tasas pico, con núcleos dedicados si el host está virtualizado.
¿Puede un clúster de RabbitMQ funcionar en varias zonas de disponibilidad?
Sí, y debería hacerlo, dentro de una misma región. Entre regiones, no: la distribución entre nodos supone baja latencia, y el jitter de la WAN se convierte en particiones. Use un clúster por región con Federation o Shovel entre ellos.