On this page
Los primeros quince minutos de un incidente de RabbitMQ deciden si la hora siguiente se dedica a arreglar el broker o a descubrir que el broker nunca fue el problema. El orden que sigue es el de un ingeniero de guardia que ha operado RabbitMQ en producción: primero clasificar, después actuar y, si el incidente supera al equipo, entregar evidencia en lugar de suposiciones.
Se asume que puede llegar a un nodo del clúster, o a la interfaz de administración, con una cuenta que pueda ejecutar rabbitmqctl y rabbitmq-diagnostics. Si no puede, ese es el primer hallazgo.
Minutos 0 a 2: ¿RabbitMQ es la causa o la víctima?
La mayoría de las alertas que dicen que RabbitMQ está caído describen una aplicación que dejó de recibir mensajes. Eso tiene al menos cuatro causas posibles, y solo una de ellas es el broker. Defínalo antes de tocar nada.
- ¿Responde algún nodo?
rabbitmq-diagnostics pingcontra cada nodo, oGET /api/overviewen el puerto de administración. Un nodo que responde está degradado, no caído, y los dos casos se manejan de forma distinta. - ¿La aplicación está conectada?
rabbitmqctl list_connections name state. Cero conexiones de un servicio que debería tener decenas es una falla del lado del cliente o de la red, no del broker. - ¿Qué cambió? Un despliegue, un cambio de configuración, una rotación de certificados, el reinicio de un nodo, un pico de tráfico. Los incidentes que siguen a un cambio suelen ser ese cambio.
Minutos 2 a 5: lea las alarmas antes que los logs
RabbitMQ tiene dos alarmas de recursos y ambas producen el mismo síntoma, por eso los equipos las malinterpretan: los publishers se bloquean, los consumidores siguen trabajando y nada se cae. La aplicación ve que las publicaciones se cuelgan, la profundidad de las colas deja de subir y todos los gráficos se ven tranquilos.
- Alarma de memoria. Se dispara cuando un nodo supera el memory high watermark, por defecto el 40% de la RAM en 3.x y el 60% en 4.x.
rabbitmq-diagnostics alarmsla muestra;rabbitmq-diagnostics memory_breakdownindica si la memoria la ocupan los contenidos de las colas, binarios, conexiones o metadatos. - Alarma de disco. Se dispara cuando el espacio libre en el directorio de datos cae por debajo de
disk_free_limit. Los message stores, los logs de las colas de quórum y los propios archivos de log del nodo compiten por el mismo disco. - Cómo distinguir una alarma de una caída. Las conexiones en
list_connectionsaparecen comoblockedoblocking. La alarma afecta a todo el clúster: una alarma de memoria en un nodo bloquea a los publishers en todos los nodos.
Resolver una alarma es lo único que puede hacer sin riesgo en los primeros cinco minutos. Consuma el atraso, agregue disco o suba temporalmente el watermark en el nodo afectado. No hace falta reiniciar, y un reinicio suele empeorar las cosas al volver a volcar la misma carga sobre un nodo recién levantado.
Minutos 5 a 8: estado del clúster y del quórum
rabbitmqctl cluster_status responde qué nodos espera el clúster y cuáles están accesibles. Lo que significa una partición depende de la versión, y la diferencia importa en los primeros minutos.
- 3.x y de 4.0 a 4.2: una partición registrada. La salida tiene una sección partitions. Con
cluster_partition_handling = pause_minority, el lado minoritario se pausa solo y sus colas quedan no disponibles hasta que la red se recupera. Es la configuración funcionando, no una segunda falla, y reiniciar el nodo pausado no la acorta. - 4.3 y posteriores: ninguna estrategia de particiones. Mnesia y los modos de manejo de particiones ya no existen; el metadata store, las colas de quórum y los streams usan Raft, así que la única pregunta es si cada uno todavía tiene una mayoría en línea.
rabbitmq-diagnostics check_if_node_is_quorum_criticallo responde para el nodo en el que está. - Un nodo caído sin partición. Las colas de quórum (quorum queues) con una mayoría sobreviviente siguen funcionando. Una cola clásica que vivía en el nodo perdido queda no disponible hasta que el nodo vuelve; en 3.x el espejado podía cubrirlo, y 4.0 eliminó el espejado. Este es el argumento individual más fuerte a favor de las colas de quórum, y suele descubrirse justo aquí.
- Quórum perdido.
rabbitmq-queues quorum_status <queue>muestra los miembros y el líder. Una cola de quórum sin mayoría retiene las publicaciones y las confirmaciones hasta que vuelvan suficientes miembros, o hasta que venzan. No la elimine y la vuelva a crear bajo presión; los datos están en los miembros sobrevivientes.
Minutos 8 a 12: colas, consumidores y la cantidad de mensajes sin confirmar
Un solo comando cubre la mayor parte:
rabbitmqctl list_queues name messages_ready messages_unacknowledged consumersLos tres números juntos indican en cuál de cuatro situaciones está:
- Ready en aumento, cero consumidores. La flota de consumidores está caída o desconectada. El broker está haciendo su trabajo; la solución está del lado de los consumidores.
- Ready en aumento, consumidores presentes, unacknowledged alto. Los consumidores reciben pero no confirman. Cada uno retiene en vuelo hasta su prefetch count, así que un consumidor detenido con un prefetch grande inmoviliza mensajes que nadie procesa. Consulte prefetch count para el dimensionamiento, y busque una dependencia downstream que esté agotando el tiempo de espera dentro del handler.
- Ready en aumento, consumidores presentes, unacknowledged cerca de cero. Los consumidores simplemente son más lentos que los productores. Escale los consumidores o limite a los productores; no hay nada mal en el broker.
- Todo estable y las publicaciones fallan. Vuelva a las alarmas; se saltó una.
Ya que está ahí, rabbitmqctl list_channels y una segunda mirada a las conexiones mostrarán la rotación: una cantidad de conexiones que sube y baja cada pocos segundos significa que un cliente se está reconectando en bucle, lo que es un síntoma y, en una flota lo bastante grande, también una causa.
Minutos 12 a 15: defina la severidad y contenga el daño
A esta altura el incidente ya tiene forma. Asígnele una severidad para que se despierte a las personas correctas y no se tomen las acciones equivocadas.
- Sev 1: publishers bloqueados o clúster inaccesible. Alarma de recursos, quórum perdido o todos los nodos caídos. El impacto en el negocio es inmediato. Es el caso para pedir ayuda externa si el equipo no opera RabbitMQ a diario.
- Sev 2: degradado. Un nodo caído con el quórum intacto, una minoría pausada por
pause_minorityen un clúster anterior a 4.3, lag de replicación. El tráfico fluye; la capacidad o la redundancia están reducidas. - Sev 3: del lado del cliente. Consumidores caídos, un bucle de reconexión, un handler lento. El broker está sano y la solución le corresponde al equipo de la aplicación.
Acciones seguras bajo presión: consumir o drenar un atraso, agregar disco, subir temporalmente un watermark, escalar consumidores y reiniciar una aplicación. Acciones que no lo son: purgar una cola, que es pérdida de datos; force_boot o eliminar un nodo a la fuerza, que puede descartar la única copia buena de una cola; y reiniciar nodos durante una partición, que la prolonga.
Qué tener listo antes de llamar a alguien
Si el incidente pasa a un proveedor de soporte, el primer pedido es siempre el mismo, y lleva diez minutos reunirlo bajo presión o un minuto si ya está a mano:
rabbitmqctl versiony la versión de Erlang, por nodo.- La salida de
rabbitmqctl cluster_status,rabbitmq-diagnostics statusyrabbitmq-diagnostics alarms. - Una exportación de definiciones con
rabbitmqctl export_definitions, que captura todas las colas, exchanges, bindings, políticas y usuarios, sin los mensajes. - La última hora de logs de los nodos, del directorio de logs de RabbitMQ o del journal.
- El cambio que precedió al incidente y la hora en que se aplicó.
Qué significan y qué no significan unos objetivos de respuesta desde 15 minutos, según el plan
Un compromiso de respuesta es la promesa de que un ingeniero asignado tomará contacto y empezará a trabajar dentro de ese plazo. No es un tiempo de resolución, y un proveedor que promete la resolución de un problema que todavía no diagnosticó está prometiendo algo que no puede saber. Lo que importa en el contrato es quién responde, qué tan rápido se confirma la severidad y cómo funciona el escalamiento si el primer ingeniero no logra cerrarlo. Así está planteado el soporte de RabbitMQ de AceMQ, con objetivos de respuesta desde 15 minutos, según el plan, para las versiones 3.8 a 4.x, y por eso la lista de evidencias anterior es un checklist de onboarding y no algo que se arma en plena noche.
Cuando termina el incidente, la pregunta útil es cuál de los quince minutos anteriores tardó más en responderse, porque ahí es donde se perderá el próximo. Un health check encuentra los umbrales de alarma, los tipos de colas y la configuración de particiones que convirtieron un evento de rutina en un incidente; la resolución de problemas de RabbitMQ cubre los casos que necesitan a un ingeniero en el clúster y no un checklist.
Cómo acortar el próximo incidente
- Configure alertas sobre las propias alarmas, no sobre sus síntomas. La guía de monitoreo y alertas explica qué debe generar una alerta de guardia.
- Pase las cargas de trabajo importantes a colas de quórum, para que la pérdida de un nodo sea un Sev 2 y no un Sev 1.
- Guarde una exportación de definiciones actualizada en algún lugar que no sea el clúster. La guía de recuperación ante desastres detalla qué más debería estar a su lado.
- Lea los diez patrones de falla antes de que uno de ellos lo sorprenda a usted; la mayoría de los incidentes es uno de ellos.
- Deje por escrito quién puede autorizar un reinicio, un failover o una purga, para que la decisión no la tome a las 3 de la mañana quien esté despierto.
Preguntas frecuentes
¿Qué es lo primero que hay que revisar cuando RabbitMQ deja de entregar mensajes?
Si el broker es realmente la causa. Ejecute rabbitmq-diagnostics ping contra cada nodo y rabbitmqctl list_connections. Un broker que responde pero no tiene conexiones de clientes indica una falla de la aplicación o de la red, y la solución está de ese lado. El problema es el broker solo cuando un nodo no responde o las conexiones aparecen bloqueadas.
¿Por qué se cuelgan las publicaciones si nada se cayó?
Casi siempre por una alarma de recursos. Cuando un nodo supera su memory high watermark o su mínimo de disco libre, RabbitMQ bloquea a todos los publishers del clúster mientras los consumidores siguen funcionando, así que las colas dejan de crecer y los gráficos se ven tranquilos. rabbitmq-diagnostics alarms lo confirma. Se resuelve consumiendo el atraso, agregando disco o subiendo temporalmente el watermark; no hace falta reiniciar, y un reinicio suele volver a volcar la misma carga sobre un nodo recién levantado.
¿Cómo se ve una partición de red en RabbitMQ?
Depende de la versión. En 3.x y de 4.0 a 4.2, rabbitmqctl cluster_status la registra en una sección partitions y, con cluster_partition_handling configurado en pause_minority, el lado minoritario se pausa solo hasta que la red se recupera; es la configuración funcionando según lo previsto, y reiniciar el nodo pausado no ayuda. Desde 4.3 ya no existen los modos de manejo de particiones: todo lo replicado usa Raft, así que la pregunta es si cada cola de quórum y el metadata store todavía tienen una mayoría en línea, algo que responde rabbitmq-diagnostics check_if_node_is_quorum_critical. En cualquier caso, la recuperación consiste en arreglar la red y luego confirmar que el nodo se volvió a unir y se puso al día.
¿Qué debemos enviarle a un proveedor de soporte de RabbitMQ al escalar?
Las versiones de RabbitMQ y de Erlang de cada nodo, la salida de rabbitmqctl cluster_status, rabbitmq-diagnostics status y rabbitmq-diagnostics alarms, una exportación de definiciones con rabbitmqctl export_definitions, la última hora de logs de los nodos y el cambio que precedió al incidente, con su hora. Con eso a mano, un ingeniero puede empezar a trabajar sobre el clúster en lugar de hacer preguntas.
¿Unos objetivos de respuesta desde 15 minutos, según el plan, significan que el incidente se resuelve en quince minutos?
No. Un compromiso de respuesta significa que un ingeniero asignado toma contacto y empieza a trabajar dentro de ese plazo. La resolución depende de qué está fallando, y ningún proveedor puede prometerla para un problema que todavía no diagnosticó. Las condiciones contractuales útiles son quién responde, qué tan rápido se confirma la severidad y cómo funciona el escalamiento si el primer ingeniero no logra cerrarlo.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guías, comparativas e investigación

