RabbitMQ

Alta disponibilidad, recuperación ante desastres y dimensionamiento de clústeres de RabbitMQ: una guía práctica

Scott Sternloff

Por Scott Sternloff, Arquitecto empresarial sénior

LinkedIn · Actualizado el

LEADERnode-1REPLICAnode-2REPLICAnode-3QUORUM: 2/3
En esta página
Lograr una alta disponibilidad correcta en RabbitMQ es una de las decisiones de arquitectura con más consecuencias que tomará. Con muy pocos nodos, pierde el quórum durante una falla. Con demasiados, paga por capacidad que no necesita. Con un diseño de failover equivocado, su configuración de DR no lo protege realmente cuando la necesita.
Esta guía cubre los fundamentos: cómo dimensionar su clúster, cómo funciona realmente la HA de las colas de quórum, cómo diseñar la recuperación ante desastres entre sitios o zonas de disponibilidad y las trampas que toman desprevenidos a los equipos.
This guide covers the fundamentals: how to size your cluster, how quorum queue HA actually works, how to design for disaster recovery across sites or availability zones, and the gotchas that catch teams off guard.

¿Cuántos nodos debería tener un clúster de RabbitMQ?

La recomendación estándar para los clústeres de RabbitMQ en producción es de tres nodos. No es arbitrario: se deriva de los requisitos de quórum del mecanismo de consenso Raft de RabbitMQ, en el que se basan las colas de quórum y la gestión de los metadatos del clúster.
Con tres nodos: si se cae uno, quedan dos de tres, que siguen siendo mayoría de quórum. Si se caen dos, el nodo restante no operará como fuente de verdad (el comportamiento "pause minority" de RabbitMQ evita correctamente la pérdida de datos).

"El dimensionamiento mínimo es de tres nodos en un clúster, y tres es de hecho el estado normal recomendado hasta que se llega a necesidades de throughput realmente altas."

— Scott Sternloff, arquitecto principal de AceMQ, llamada de descubrimiento con una firma de servicios financieros, junio de 2026

¿Por qué no dos nodos? Un clúster de dos nodos parece funcionar hasta que se cae uno; en ese momento ningún nodo puede determinar si es la mayoría o la minoría, y ambos se pausan. Los clústeres con una cantidad par de nodos (dos, cuatro) generan ambigüedad; los de cantidad impar (tres, cinco, siete), no.
La anti-afinidad es obligatoria: los tres nodos deben ejecutarse en hosts físicos separados (o en zonas de disponibilidad separadas si están en la nube). Ejecutar dos nodos del clúster en la misma VM o en el mismo host físico anula la HA: si ese host falla, pierde la mayoría de inmediato.

¿Cómo funciona realmente la HA de las colas de quórum?

Las colas de quórum usan el consenso Raft para replicar los mensajes en una mayoría de los nodos del clúster antes de confirmarle la recepción al publicador. Esto significa que:
  • Los mensajes se escriben en N/2+1 nodos antes de confirmarse (donde N es el tamaño del clúster)
  • En un clúster de tres nodos, los mensajes deben escribirse en al menos dos nodos antes de la confirmación
  • Si un nodo falla, los mensajes siguen disponibles en los dos nodos restantes, sin pérdida de datos
  • La elección del líder es automática: si falla el nodo principal de una cola, se promueve una de las réplicas
Es una mejora sustancial respecto del antiguo enfoque de colas clásicas espejadas, que tenía riesgos de split-brain, un comportamiento de failover inconsistente y requería una sincronización manual después de recuperar un nodo.
La trampa que los equipos pasan por alto: la protección del quórum implica que RabbitMQ restringe deliberadamente el acceso cuando se pierde el quórum. Si una partición de red aísla a un solo nodo de los otros dos, ese nodo se pausa a sí mismo en lugar de arriesgarse a convertirse en una fuente de verdad divergente. Diseñe su topología de red y su monitoreo para esperar este comportamiento, no para esquivarlo.

¿Cómo se dimensiona un clúster para su throughput?

El dimensionamiento del clúster depende de tres factores: la tasa de mensajes, el tamaño del payload de los mensajes y la capacidad de los consumidores.
Para un despliegue que maneja aproximadamente 1.000–2.000 mensajes por segundo con tamaños de payload típicos de 100–200KB, un clúster de tres nodos con 4–8 vCPU por nodo es una base razonable.

"No conviene sobredimensionar sin necesidad, pero tampoco conviene volver enseguida a decir que estamos justos y tratar de conseguir presupuesto otra vez. Se trata de cubrir lo crítico con equilibrio."

— Scott Sternloff, arquitecto principal de AceMQ, llamada de descubrimiento con una firma de servicios financieros, junio de 2026

La memoria suele ser una restricción más frecuente que la CPU. RabbitMQ hace un uso intensivo de la memoria cuando las colas crecen o cuando los mensajes esperan a los consumidores. La memoria de los nodos debe dimensionarse para alojar con holgura la profundidad de cola esperada en el pico de carga, con margen.
La E/S de disco importa en las colas de quórum. Como las colas de quórum escriben en el WAL y en los archivos de segmento antes de confirmar, el throughput del disco afecta directamente la latencia de confirmación de los mensajes. Se recomienda enfáticamente almacenamiento SSD rápido (NVMe o equivalente).

Cómo distribuir un clúster en tres zonas de disponibilidad

Un clúster extendido entre regiones con una latencia de red real se topa con la demora del consenso Raft que vimos antes, y esa es una limitación real. Tres zonas de disponibilidad dentro de una misma región son otra situación. Los viajes de ida y vuelta entre AZ dentro de una región suelen tardar de uno a dos milisegundos, muy por debajo de lo que tolera el consenso Raft sin tratar la latencia normal como una señal de falla. Por eso un nodo por AZ es el patrón estándar de producción y no una solución de compromiso.

Tres es el mínimo por la misma razón por la que es el mínimo en todo el resto de esta guía, aplicada al espacio: un nodo en cada una de tres AZ le da tolerancia a fallas a nivel de nodo y a nivel de zona con la misma topología de tres nodos, sin necesitar nodos adicionales para obtener ambas. Un clúster que ejecuta sus tres nodos en una sola AZ tiene tolerancia a nivel de nodo pero no a nivel de zona, lo que anula el sentido de estar en una región con varias AZ.

En un clúster de tres nodos y tres AZ, la ubicación de los miembros del quórum sigue automáticamente a la de los nodos: las tres réplicas de cada cola quedan, por defecto, una por zona, ya que RabbitMQ ubica un miembro por nodo hasta el tamaño de grupo configurado. En clústeres más grandes, que abarcan más de tres AZ o tienen más de tres nodos por AZ, no dé eso por sentado: configure la política queue-leader-locator en balanced y verifique con rabbitmqctl list_queues name leader members que las réplicas de sus colas críticas no se estén acumulando dentro de una sola zona.

pause_minority es lo que realmente lo protege cuando una zona se apaga, no solo cuando falla un único nodo. Eso vale para la versión 4.2 y anteriores. En RabbitMQ 4.3 y posteriores ya no aplica: 4.3.0 eliminó Mnesia y, con ella, las estrategias de manejo de particiones; cluster_partition_handling todavía se acepta en rabbitmq.conf pero no tiene efecto, y el almacén de metadatos, las colas de quórum y los streams se basan todos en Raft, así que la regla de mayoría de Raft es la única que decide qué lado sigue atendiendo. Elimine esa clave cuando actualice. Si una AZ queda inaccesible desde las otras dos, el nodo aislado se pausa a sí mismo en lugar de arriesgarse a convertirse en una fuente de verdad divergente, y las dos AZ que todavía se ven entre sí mantienen el clúster en funcionamiento como mayoría. Diseñe sus alertas para esperar esa pausa como el comportamiento correcto ante una caída de zona, no como un incidente adicional encima del otro.

Vigile el presupuesto de latencia como una señal continua, no como una verificación única. Si los viajes de ida y vuelta entre AZ superan de forma sostenida unos cinco milisegundos, no haga ajustes para esquivarlo como si fuera una partición aleatoria; tómelo como una señal de que la distribución de AZ de la región o la ruta de red de su proveedor de nube no se comporta como una latencia dentro de una misma región, e investigue la topología antes de investigar RabbitMQ.

Cuando una zona se cae, espere que ocurran tres cosas en orden: el nodo de esa zona desaparece de rabbitmqctl cluster_status en los nodos sobrevivientes, toda cola que tenía su líder en esa zona hace una nueva elección entre las réplicas sobrevivientes y todas las conexiones de clientes fijadas al nodo de la zona perdida se cortan y necesitan reconectarse en otro lugar. Ponga un balanceador de carga o una entrada de DNS delante de los tres nodos en lugar de fijar la dirección de un solo nodo en la configuración de los clientes, haga un health check individual de cada nodo para que una zona caída salga de la rotación sin un paso manual y asegúrese de que las bibliotecas cliente tengan habilitada la recuperación automática de conexiones, para que una conexión cortada se reconecte sola a un nodo sobreviviente en lugar de exigir reiniciar la aplicación.

Cómo demostrar la alta disponibilidad antes de salir a producción: checklist de simulacros de fallas

Un clúster que nunca se rompió a propósito es un clúster cuyas promesas de HA siguen siendo teóricas. Ejecute cada uno de estos puntos antes de salir a producción, y otra vez después de cualquier cambio importante de topología, con alguien que verifique la observación esperada, no solo que confirme que el clúster terminó volviendo.

  • Elimine un nodo de golpe (kill -9 al proceso beam). Se espera: los otros dos nodos lo informan como caído dentro de un intervalo de heartbeat, los líderes de las colas de quórum en ese nodo se vuelven a elegir y los clientes con recuperación de conexiones se reconectan sin errores en la aplicación.
  • Drene un nodo de forma ordenada con rabbitmqctl stop_app. Se espera: el liderazgo se transfiere antes de que el proceso se detenga realmente y no aparecen eventos de elección no planificados en el log.
  • Particione una zona de las otras dos a nivel de red. Se espera: el nodo aislado se pausa con pause_minority, la mayoría sobreviviente sigue funcionando y no se aceptan escrituras en ambos lados a la vez.
  • Llene el disco de un nodo. Se espera: se dispara localmente una alarma de disco, ese nodo bloquea las conexiones nuevas y el resto del clúster no se ve afectado.
  • Agote la memoria de un nodo. Se espera: se dispara una alarma de memoria, los publicadores de ese nodo quedan bloqueados y los consumidores siguen vaciando lo que ya está en cola.
  • Reinicie un nodo bajo una carga sostenida equivalente a la de producción. Se espera: se reincorpora y sus réplicas se resincronizan automáticamente, sin intervención manual y sin un pico visible en la profundidad de las colas.
  • Fuerce el vencimiento de un certificado TLS (o simúlelo en un entorno inferior). Se espera: las conexiones fallan con un error claro de handshake, no con un cuelgue silencioso, lo que confirma que su runbook de rotación realmente funciona antes de que venza un certificado real.
  • Elimine específicamente el nodo que lidera en ese momento una cola crítica, no un nodo al azar. Se espera: se elige un nuevo líder en segundos y la biblioteca cliente reintenta de forma transparente los publisher confirms en curso.
  • Detenga a la vez todos los nodos de una AZ para simular la caída completa de una zona. Se espera: las dos zonas restantes mantienen disponibles el clúster y todas las colas de quórum durante todo el proceso.
  • Saque un nodo de la rotación del balanceador de carga mediante su health check antes de tocarlo. Se espera: el tráfico deja de enrutarse hacia él antes de que realice cualquier otra acción, sin ningún error visible para los clientes.
  • Ejecute una actualización progresiva, de a un nodo por vez. Se espera: el clúster permanece disponible durante toda la secuencia y la ventana con versiones mixtas se cierra dentro del tiempo de mantenimiento planificado.
  • Haga caer un consumidor en plena confirmación. Se espera: sus mensajes sin confirmar vuelven automáticamente a la cola cuando se cierra la conexión, sin pérdida de mensajes.
  • Inyecte latencia artificial entre dos AZ en lugar de cortar el enlace por completo. Se espera: esto le muestra cómo se ve en sus métricas una congestión de red real, para que no la confunda con una falla de hardware durante un incidente real.

Para clústeres que corren en Kubernetes administrado, la versión específica de cada plataforma de varios de estos simulacros, en especial los casos de drenado de nodos y de actualización progresiva, se trata en RabbitMQ en EKS, AKS o GKE y en arquitectura de RabbitMQ en producción para empresas. Si su clúster ya está en producción y prefiere que alguien ejecute esta lista de simulacros con una carga equivalente a la de producción en lugar de programarla desde cero, ese es el tipo de proyecto que nuestro trabajo de estabilización de Kubernetes de misión crítica y nuestro equipo de soporte realizan con regularidad, respaldados por objetivos de respuesta desde 15 minutos, según el plan, si algo del simulacro revela una brecha real.

Objetivos de respuesta desde 15 minutos, según el plan. Ingenieros sénior asignados.

Contáctenos

¿Cómo funciona la recuperación ante desastres entre zonas de disponibilidad o sitios?

El clustering estándar de RabbitMQ está diseñado para operar con baja latencia dentro de un mismo datacenter. Extender un clúster entre zonas de disponibilidad o sitios con una latencia significativa introduce demoras en el consenso Raft y no se recomienda para distancias geográficas.
La arquitectura correcta para la recuperación ante desastres entre varios sitios o varias AZ es la warm schema replication (disponible en la distribución comercial Tanzu RabbitMQ).
Qué hace la warm schema replication:
  • Mantiene en un sitio secundario una copia casi en tiempo real de todo el esquema de RabbitMQ: todas las colas, bindings, exchanges, virtual hosts, usuarios y permisos
  • Reenvía de forma asíncrona al secundario los mensajes en curso, para que el secundario tenga el estado sincronizado más reciente
  • Permite promover el secundario a primario en cualquier momento con un esfuerzo de recuperación mínimo
  • Admite la promoción en ambas direcciones: cualquiera de los dos sitios puede convertirse en primario

"Es una copia casi en tiempo real del entorno. Las transacciones se envían de forma asíncrona y se confirman. Así que, en lugar de ser una copia con la que hay que ponerse al día con todo, es el estado sincronizado más reciente del broker de mensajería al que se puede llegar."

— Scott Sternloff, arquitecto principal de AceMQ, llamada de descubrimiento con una firma de servicios financieros, junio de 2026

¿Y el licenciamiento de DR entre sitios?

En el modelo de licenciamiento comercial, los entornos se cuentan sin importar si son de producción, QA, UAT o DR. Una configuración de producción más DR totalmente espejada requiere licencias tanto para el clúster primario como para el de DR.
En despliegues más pequeños, esto se puede optimizar: sus entornos inferiores (QA, UAT) pueden no requerir réplicas de DR, y esos entornos pueden dimensionarse de forma más conservadora.

"Si solo se espeja producción, los entornos inferiores no necesitan DR. Su entorno de QA tal vez ni siquiera necesite clustering: simplemente está arriba o abajo. Así que se puede simplificar mucho y reducir la cantidad de licencias en consecuencia."

— Scott Sternloff, arquitecto principal de AceMQ, llamada de descubrimiento con una firma de servicios financieros, junio de 2026

Ya sea que esté dimensionando un clúster nuevo, diseñando un failover entre varios sitios o evaluando si la warm schema replication justifica el costo del licenciamiento comercial, comuníquese con el soporte de AceMQ y definiremos el alcance para su entorno específico.

En los entornos regulados, el stack que rodea al broker tiene sus propias obligaciones: consulte el stack de mensajería en industrias reguladas.

Si la pregunta pendiente es el mecanismo para mover mensajes entre regiones, y no cómo dimensionar y ubicar los clústeres, esa decisión tiene su propia guía: federation o shovel de RabbitMQ para la recuperación ante desastres.

Cómo probar la recuperación ante desastres de RabbitMQ: el simulacro que ejecutamos antes de salir a producción

Un clúster que nunca perdió un nodo de verdad lo va a sorprender la primera vez que ocurra, por lo general a las 2 de la mañana. Este es el programa que ejecutamos con nuestros clientes antes de que un clúster de RabbitMQ lleve tráfico de producción. Lleva aproximadamente un día y produce números, no opiniones.

Condiciones previas.

  • Un clúster de staging con la misma forma que producción: la misma cantidad de nodos, la misma distribución por AZ, la misma versión de RabbitMQ (lo ejecutamos en todo, desde 3.8.x hasta 4.x), los mismos tipos de colas, políticas, bibliotecas cliente y ajustes de conexión. Las colas de quórum y las clásicas fallan de forma distinta, así que si producción tiene ambas, staging también. Consulte /blogs/rabbitmq-classic-vs-quorum-queues/ para ver por qué eso importa aquí.
  • Publicadores y consumidores sintéticos con números de secuencia. Cada publicador marca los mensajes con un id de flujo y un contador creciente; cada consumidor registra cada secuencia que ve. Eso hace que la pérdida (un hueco) y la duplicación (una repetición) se puedan contar en lugar de discutir. Los publicadores usan confirms y los consumidores usan acks manuales.
  • Dashboards a la vista: profundidad de colas, tasas de publicación y entrega, alarmas de memoria y disco, cantidad de líderes de quórum por nodo, conexiones y canales, y latencia de los confirms del lado del cliente. Si no lo puede ver, no lo puede aprobar.
  • Un responsable designado del runbook, un canal compartido y un reloj.

Los simulacros, en orden.

  1. Elimine un miembro del quórum. Detenga RabbitMQ en un nodo que sea seguidor de la mayoría de las colas. Observe la elección de líder en las colas que lideraba y la latencia de los confirms en los publicadores. Se aprueba si la elección se completa en pocos segundos, no hay ningún hueco de secuencia en los consumidores y los publisher confirms siguen llegando todo el tiempo. Reinicie el nodo y confirme que se reincorpora y se pone al día.
  1. Elimine el nodo que tiene más líderes. Los líderes se acumulan en el nodo que haya arrancado primero, así que esta es la versión más difícil del simulacro 1. Elimínelo, observe las mismas señales, vuelva a levantarlo y luego rebalancee:
rabbitmq-queues rebalance quorum

Se aprueba si no hay pérdidas, los confirms continúan y, después del rebalanceo, la cantidad de líderes queda más o menos pareja entre los nodos.

  1. Llene un disco hasta la alarma de espacio libre. Escriba un archivo grande en un nodo hasta que se active disk_free_limit. Se aprueba si las conexiones de los publicadores aparecen como bloqueadas en la interfaz de administración, las publicaciones se detienen en lugar de fallar, los consumidores siguen vaciando las colas y la publicación se reanuda sola cuando se elimina el archivo. Si los consumidores también se detienen, hay un consumidor que comparte una conexión con un publicador; corríjalo antes de salir a producción.
  1. Particione la red entre los nodos. Con cluster_partition_handling = pause_minority, bloquee el tráfico entre un nodo y los otros dos con iptables. Se aprueba si el nodo en minoría se pausa a sí mismo, las colas de quórum del lado de la mayoría siguen atendiendo, los clientes del nodo pausado reciben un error de conexión y se reconectan a un host sobreviviente de su lista de direcciones, y el clúster se recupera sin intervención manual cuando se quita la regla. Registre lo que escribieron los clientes en sus logs: esa línea es lo que verá su ingeniero de guardia.
  1. Pierda una zona de disponibilidad. Detenga a la vez todos los nodos de una AZ. En una distribución de tres AZ sobrevive una mayoría. Se aprueba con lo mismo que en el simulacro 1: cero pérdidas y confirms que continúan. Si el balanceador de carga tarda más de unos segundos en descartar los nodos caídos, corrija el health check ahora.
  1. Failover regional. Detenga los publicadores, anote la secuencia más alta confirmada en la región A, dé de baja la región A y haga el failover a la región B usando la ruta entre regiones que haya elegido (consulte /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). El RPO es la cantidad de mensajes confirmados en A que nunca aparecen en B; léalo directamente de los logs de secuencia. El RTO es el tiempo real transcurrido desde la caída hasta que los consumidores funcionan contra B. Se aprueba si ambas cifras quedan dentro de los objetivos que aprobó el negocio. Anótelas: son la respuesta honesta a "cuál es nuestra postura de DR".
  1. Failback sin duplicados. Vuelva a levantar la región A y devuélvale el tráfico. Se aprueba si los logs de secuencia de los consumidores no muestran repeticiones. Si las muestran, los consumidores no son idempotentes, y esa es una corrección de la aplicación, no del broker.
  1. Restauración desde un respaldo. Exporte las definiciones con rabbitmqctl export_definitions, destruya el clúster de staging, reconstrúyalo y vuelva a importarlas. Se aprueba si vuelven los exchanges, las colas, los bindings, los vhosts, los usuarios, los permisos y las políticas. Sepa qué es lo que no vuelve: los mensajes. Un respaldo de definiciones es topología, no datos. La supervivencia de los mensajes depende de la replicación y de la ruta entre regiones, nunca de un archivo de respaldo.
SimulacroQué se mideCriterio de aprobación
Eliminar un miembroTiempo de elección, huecos de secuencia, flujo de confirmsSegundos, cero, sin interrupciones
Eliminar el nodo con más líderesLo mismo, más la distribución de líderes tras el rebalanceoLo mismo, más o menos pareja
Alarma de discoEstado de los publicadores, throughput de los consumidoresBloqueados, siguen vaciando
Partición de redComportamiento de la minoría, reconexión de los clientesSe pausa, se reconectan, se recupera sola
Perder una AZLa mayoría sigue funcionandoCero pérdidas
Failover regionalRPO en mensajes, RTO en minutosDentro de los objetivos acordados
FailbackCantidad de duplicadosCero
Restauración desde un respaldoDefiniciones reimportadasToda la topología recuperada

Frecuencia. Ejecute el programa completo antes de salir a producción y otra vez después de cualquier cambio de topología: un nodo nuevo, un cambio de AZ, una actualización de versión mayor, un cambio en el manejo de particiones. Ejecute la eliminación de un solo nodo cada trimestre: es barata y detecta desvíos en la reconexión de los clientes que nadie quiso introducir. Ejecute el failover regional al menos una vez al año y cada vez que cambie el responsable del runbook, porque un runbook que nadie de los presentes ha ejecutado es un documento, no una capacidad. La mayoría de las fallas de /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ habrían salido a la luz primero en alguno de estos simulacros.

Una revisión de dimensionamiento y DR, con simulacros incluidos, es un proyecto habitual de AceMQ; consulte /rabbitmq/.

How to test RabbitMQ disaster recovery: the drill we run before go-live

A cluster that has never lost a node in anger will surprise you the first time it does, usually at 2am. This is the programme we run with clients before a RabbitMQ cluster carries production traffic. It takes about a day and produces numbers rather than opinions.

Pre-conditions.

  • A staging cluster shaped like production: same node count, same AZ placement, same RabbitMQ version (we run this on everything from 3.8.x to 4.x), same queue types, policies, client libraries and connection settings. Quorum and classic queues fail differently, so if production has both, staging has both. See /blogs/rabbitmq-classic-vs-quorum-queues/ for why that matters here.
  • Synthetic publishers and consumers with sequence numbers. Each publisher stamps messages with a stream id and an increasing counter; each consumer records every sequence it sees. That makes loss (a gap) and duplication (a repeat) countable instead of arguable. Publishers use confirms, consumers use manual acks.
  • Dashboards up: queue depth, publish and deliver rates, memory and disk alarms, quorum leader count per node, connections and channels, and client-side confirm latency. If you cannot see it, you cannot pass it.
  • A named runbook owner, a shared channel, and a clock.

The drills, in order.

  1. Kill one quorum member. Stop RabbitMQ on a node that follows most queues. Watch leader election on the queues it led and watch confirm latency at the publishers. Pass: election completes in a few seconds, zero sequence gaps at the consumers, publisher confirms keep arriving throughout. Restart the node and confirm it rejoins and catches up.
  1. Kill the node holding the most leaders. Leaders pile onto whichever node was up first, so this is the harder version of drill 1. Kill it, watch the same signals, bring it back, then rebalance:
rabbitmq-queues rebalance quorum

Pass: no loss, confirms continue, and after the rebalance the leader count is roughly even across nodes.

  1. Fill a disk to the free-disk alarm. Write a large file on one node until disk_free_limit trips. Pass: publisher connections show as blocked in management, publishes stall rather than fail, consumers keep draining, and publishing resumes on its own once the file is deleted. If consumers stop too, a consumer is sharing a connection with a publisher; fix that before go-live.
  1. Partition the network between nodes. With cluster_partition_handling = pause_minority, block traffic between one node and the other two using iptables. Pass: the minority node pauses itself, quorum queues on the majority side keep serving, clients on the paused node see a connection error and reconnect to a surviving host from their address list, and the cluster heals without manual intervention when the rule is removed. Record what the clients logged; that line is what your on-call engineer will see.
  1. Lose an availability zone. Stop every node in one AZ at once. In a three-AZ layout a majority survives. Pass: identical to drill 1, zero loss and continuing confirms. If the load balancer takes more than a few seconds to drop the dead nodes, fix the health check now.
  1. Regional failover. Stop the publishers, note the highest sequence confirmed in region A, take region A down, and fail over to region B using whichever cross-region path you chose (see /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). RPO is the count of messages confirmed in A that never appear in B; read it straight from the sequence logs. RTO is wall-clock time from the outage to consumers running against B. Pass: both numbers sit inside the targets the business signed off on. Write them down; they are the honest answer to "what is our DR posture".
  1. Failback without duplicates. Bring region A back and return traffic to it. Pass: consumer sequence logs show no repeats. If they do, the consumers are not idempotent, and that is an application fix, not a broker fix.
  1. Restore from backup. Export definitions with rabbitmqctl export_definitions, destroy the staging cluster, rebuild it, re-import. Pass: exchanges, queues, bindings, vhosts, users, permissions and policies all come back. Know what does not: messages. A definitions backup is topology, not data. Message survival comes from replication and the cross-region path, never from a backup file.
DrillWhat you measurePass criterion
Kill one memberElection time, sequence gaps, confirm flowSeconds, zero, uninterrupted
Kill the leader-heavy nodeSame, plus leader spread after rebalanceSame, roughly even
Disk alarmPublisher state, consumer throughputBlocked, keeps draining
Network partitionMinority behaviour, client reconnectPauses, reconnects, self-heals
Lose an AZMajority continuesZero loss
Regional failoverRPO in messages, RTO in minutesInside agreed targets
FailbackDuplicate countZero
Restore from backupDefinitions re-importedFull topology back

Cadence. Run the full programme before go-live and again after any topology change: a new node, an AZ move, a major version upgrade, a change to partition handling. Run the single-node kill quarterly; it is cheap and catches client reconnect drift nobody meant to introduce. Run the regional failover at least yearly and whenever the runbook owner changes, because a runbook nobody present has executed is a document, not a capability. Most of the failures in /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ would have surfaced in one of these drills first.

A sizing and DR review, drills included, is a normal AceMQ engagement; see /rabbitmq/.

This post is one step in two longer sequences: the RabbitMQ disaster recovery guide takes HA and DR from the failure you are protecting against through to the failover test, and the clustering and sizing guide covers the node, queue-type and sizing decisions that come first.

Preguntas frecuentes

¿Cómo probamos la recuperación ante desastres de RabbitMQ?

Monte un clúster de staging con la misma forma que producción, ejecute publicadores y consumidores sintéticos que marquen cada mensaje con un número de secuencia y luego rompa cosas en orden: un nodo, el nodo con más líderes, un disco lleno, una partición de red, una zona de disponibilidad completa y, por último, la región. Cada simulacro tiene un criterio de aprobación medible, y los logs de secuencia le dicen exactamente cuántos mensajes se perdieron o se duplicaron. El simulacro regional le da cifras reales de RPO y RTO. Termine con una exportación y reimportación de las definiciones, para que el equipo haya restaurado un clúster desde cero al menos una vez.

¿Con qué frecuencia conviene probar el failover de RabbitMQ?

Ejecute el programa completo de simulacros antes de salir a producción y después de cualquier cambio de topología, incluidos nodos nuevos, cambios de AZ, actualizaciones de versión mayor y cambios en el manejo de particiones. Elimine un solo nodo cada trimestre: lleva una hora y detecta a tiempo las regresiones en la reconexión de los clientes. Ejecute el failover regional al menos una vez al año y cada vez que cambie el responsable del runbook, porque el objetivo del simulacro es que las personas de guardia realmente lo hayan hecho. Si nadie de la rotación actual ha ejecutado el failover, ya está atrasado. Los clientes de AceMQ con contrato de soporte programan estos simulacros con nosotros, con objetivos de respuesta desde 15 minutos, según el plan si alguna vez ocurre un failover real; consulte /support/.

¿Pueden unos expertos dimensionar nuestro clúster de RabbitMQ?

Sí. Un proyecto de dimensionamiento con AceMQ, el socio MSP estratégico exclusivo de Broadcom para RabbitMQ, parte de sus números reales: tasas de mensajes, tamaños de payload, cantidad de colas, cantidad de consumidores, retención durante una caída de los consumidores y el RPO y el RTO que el negocio realmente necesita. Produce una cantidad de nodos y una distribución por AZ, cifras de CPU, memoria y disco por nodo con margen, ajustes de colas de quórum y políticas, una recomendación de manejo de particiones, un diseño entre regiones cuando hace falta y un plan de simulacros para demostrar el resultado antes de salir a producción. El dimensionamiento es una parte de una revisión más amplia de HA y DR; consulte /rabbitmq/.

¿Cómo diseño un clúster de RabbitMQ distribuido en varias zonas de disponibilidad?

Ubique un nodo por AZ, con tres AZ como base estándar, ya que la latencia entre AZ dentro de una misma región suele ser de uno a dos milisegundos, muy por debajo de lo que tolera el consenso Raft. En un clúster de tres nodos, la ubicación de los miembros del quórum sigue automáticamente a la de los nodos, lo que le da a cada cola una réplica por zona. `pause_minority` lo protege si una zona queda inaccesible: el nodo aislado se pausa mientras la mayoría de dos zonas que sobrevive sigue operando. Ponga un balanceador de carga o una entrada de DNS delante de los tres nodos y habilite la recuperación de conexiones del lado del cliente, para que la pérdida de una zona no exija una reconexión manual.

¿Cómo pruebo la alta disponibilidad de RabbitMQ antes de pasar a producción?

Ejecute un simulacro de fallas estructurado que cubra la eliminación de nodos, drenados ordenados, particiones a nivel de zona, agotamiento de disco y memoria, actualizaciones progresivas y una caída simulada de una AZ completa, cada uno con una observación esperada por escrito. El objetivo es demostrar que el clúster se comporta como lo supone su arquitectura, no solo confirmar que tarde o temprano vuelve a estar en línea. Hágalo antes de salir a producción y otra vez después de cualquier cambio importante de topología o de versión, ya que los supuestos no probados sobre la HA tienden a salir a la luz por primera vez durante un incidente real.

How do I test RabbitMQ high availability before production?

Run a structured failure drill covering node kills, graceful drains, zone-level partitions, disk and memory exhaustion, rolling upgrades, and a full simulated AZ outage, each with a written expected observation. The goal is proving the cluster behaves the way your architecture assumes it will, not just confirming it eventually comes back online. Do this before go-live and again after any significant topology or version change, since untested assumptions about HA tend to surface for the first time during a real incident.

Consulta gratuita

Que un experto revise su clúster de RabbitMQ

Ya sea que esté resolviendo un incidente en producción, planificando una migración o quiera una segunda opinión sobre su arquitectura, nuestro equipo está listo. Sin discursos de venta, solo respuestas.

Escríbanos