RabbitMQ

RabbitMQ: alta disponibilidade, recuperação de desastres e dimensionamento de clusters — guia prático

Scott Sternloff

Por Scott Sternloff, Arquiteto empresarial sénior

LinkedIn · Atualizado a

LEADERnode-1REPLICAnode-2REPLICAnode-3QUORUM: 2/3
Nesta página
Acertar na alta disponibilidade do RabbitMQ é uma das decisões de arquitetura com mais consequências que vai tomar. Com poucos nós, perde o quórum durante uma falha. Com nós a mais, está a pagar capacidade de que não precisa. Com um desenho de failover errado, a sua configuração de DR não o protege de facto quando precisa dela.
Este guia cobre os fundamentos: como dimensionar o cluster, como funciona realmente a alta disponibilidade das filas de quórum, como desenhar a recuperação de desastres entre sites ou zonas de disponibilidade e as armadilhas que apanham as equipas desprevenidas.
This guide covers the fundamentals: how to size your cluster, how quorum queue HA actually works, how to design for disaster recovery across sites or availability zones, and the gotchas that catch teams off guard.

Quantos nós deve ter um cluster RabbitMQ?

A recomendação habitual para clusters RabbitMQ de produção é de três nós. Não é arbitrário — decorre dos requisitos de quórum do mecanismo de consenso Raft do RabbitMQ, que sustenta as filas de quórum e a gestão dos metadados do cluster.
Com três nós: se um nó cair, ficam dois em três — continua a ser uma maioria de quórum. Se caírem dois nós, o nó restante não funcionará como fonte de verdade (o comportamento «pause minority» do RabbitMQ impede, corretamente, a perda de dados).

«O dimensionamento mínimo é de três nós num cluster — e três é, de facto, o estado normal recomendado até se chegar a preocupações de débito realmente elevadas.»

— Scott Sternloff, arquiteto principal da AceMQ, chamada de descoberta com uma empresa de serviços financeiros, junho de 2026

Porque não dois nós? Um cluster de dois nós parece funcionar até um dos nós cair — nesse momento, nenhum dos nós consegue determinar se é a maioria ou a minoria, e ambos entram em pausa. Os clusters com um número par de nós (dois, quatro) criam ambiguidade; os clusters com um número ímpar (três, cinco, sete) não.
A anti-affinity é obrigatória: os três nós devem correr em hosts físicos separados (ou em zonas de disponibilidade separadas, se estiver na cloud). Executar dois nós do cluster na mesma VM ou no mesmo host físico anula a alta disponibilidade — se esse host falhar, perde imediatamente a maioria.

Como funciona realmente a alta disponibilidade das filas de quórum?

As filas de quórum usam consenso Raft para replicar as mensagens numa maioria dos nós do cluster antes de confirmarem a receção ao publisher. Isto significa que:
  • As mensagens são escritas em N/2+1 nós antes de serem confirmadas (sendo N o tamanho do cluster)
  • Num cluster de três nós, as mensagens têm de ser escritas em pelo menos dois nós antes da confirmação
  • Se um nó falhar, as mensagens continuam disponíveis nos dois nós restantes — sem perda de dados
  • A eleição de líder é automática — se o nó principal de uma fila falhar, uma das réplicas é promovida
Trata-se de uma melhoria substancial face à antiga abordagem das classic mirrored queues, que sofria de riscos de split-brain, de um comportamento de failover inconsistente e exigia sincronização manual após a recuperação de um nó.
A armadilha que as equipas não veem: a proteção por quórum significa que o RabbitMQ restringe deliberadamente o acesso quando o quórum se perde. Se uma partição de rede isolar um único nó dos outros dois, esse nó entra em pausa em vez de correr o risco de se tornar uma fonte de verdade divergente. Desenhe a sua topologia de rede e a sua monitorização para contar com este comportamento, e não para o contornar.

Como dimensionar um cluster para o seu débito?

O dimensionamento de um cluster depende de três fatores: taxa de mensagens, tamanho do payload das mensagens e capacidade dos consumidores.
Para uma implementação que processe cerca de 1000–2000 mensagens por segundo, com payloads típicos na ordem dos 100–200 KB, um cluster de três nós com 4–8 vCPU por nó é uma base razoável.

«Não se quer sobredimensionar desnecessariamente, mas também não se quer voltar logo a seguir a dizer que estamos no limite e tentar arranjar orçamento outra vez. O que conta é o que é crítico, com equilíbrio.»

— Scott Sternloff, arquiteto principal da AceMQ, chamada de descoberta com uma empresa de serviços financeiros, junho de 2026

A memória é mais vezes a restrição do que a CPU. O RabbitMQ consome muita memória quando as filas crescem ou quando as mensagens estão à espera de consumidores. A memória dos nós deve ser dimensionada para comportar folgadamente a profundidade de fila esperada no pico de carga, com margem.
O I/O de disco é importante nas filas de quórum. Como as filas de quórum escrevem no WAL e nos ficheiros de segmento antes de confirmarem, o débito do disco afeta diretamente a latência de confirmação das mensagens. Recomenda-se vivamente armazenamento SSD rápido (NVMe ou equivalente).

Distribuir um cluster por três zonas de disponibilidade

Um cluster estendido entre regiões com latência de rede real esbarra no atraso de consenso Raft referido acima, e isso é uma limitação real. Três zonas de disponibilidade dentro de uma única região são uma situação diferente. Os round trips entre AZ dentro de uma região rondam normalmente um a dois milissegundos, bem dentro do que o consenso Raft tolera sem tratar a latência normal como um sinal de falha. É por isso que um nó por AZ é o padrão de produção habitual, e não um compromisso.

Três é o mínimo pela mesma razão que é o mínimo em todo o resto deste guia, aplicada ao espaço: um nó em cada uma de três AZ dá-lhe tolerância a falhas ao nível do nó e ao nível da zona com a mesma topologia de três nós, sem precisar de nós adicionais para obter as duas. Um cluster com os três nós numa única AZ tem a tolerância ao nível do nó sem a tolerância ao nível da zona, o que anula a razão de estar numa região multi-AZ.

A colocação dos membros de quórum acompanha automaticamente a colocação dos nós num cluster de três nós em três AZ: por omissão, as três réplicas de cada fila ficam uma em cada zona, já que o RabbitMQ coloca um membro por nó até ao tamanho de grupo configurado. Em clusters maiores, que abranjam mais de três AZ ou tenham mais de três nós por AZ, não parta desse princípio; defina a política queue-leader-locator como balanced e verifique com rabbitmqctl list_queues name leader members que as réplicas das suas filas críticas não se acumulam numa só zona.

O pause_minority é o que realmente o protege quando uma zona fica às escuras, e não apenas quando falha um único nó. Isto é válido para a 4.2 e versões anteriores. No RabbitMQ 4.3 e posteriores deixa de se aplicar: a 4.3.0 removeu o Mnesia e, com ele, as estratégias de tratamento de partições; o cluster_partition_handling continua a ser aceite no rabbitmq.conf, mas não tem qualquer efeito, e o metadata store, as filas de quórum e os streams são todos baseados em Raft, pelo que é apenas a regra da maioria do Raft que decide que lado continua a servir. Remova a chave quando atualizar. Se uma AZ ficar inacessível a partir das outras duas, o nó isolado entra em pausa em vez de arriscar tornar-se uma fonte de verdade divergente, e as duas AZ que continuam a ver-se mantêm o cluster a funcionar como maioria. Desenhe os seus alertas para tratarem essa pausa como o comportamento correto numa indisponibilidade de zona, e não como um incidente adicional.

Acompanhe o orçamento de latência como um sinal contínuo, e não como uma verificação pontual. Se os round trips entre AZ estiverem sistematicamente acima de cerca de cinco milissegundos, não tente contorná-lo como se fosse uma partição aleatória; trate-o como sinal de que a distribuição de AZ da região ou o caminho de rede do seu fornecedor de cloud não se está a comportar como latência dentro da mesma região, e investigue a topologia antes de investigar o RabbitMQ.

Quando uma zona cai de facto, espere que aconteçam três coisas, por esta ordem: o nó dessa zona desaparece do rabbitmqctl cluster_status nos nós sobreviventes, todas as filas que tinham o líder nessa zona realizam uma nova eleição entre as réplicas sobreviventes e todas as ligações de clientes presas ao nó da zona perdida caem e precisam de se religar noutro lado. Coloque um load balancer ou uma entrada DNS à frente dos três nós, em vez de fixar o endereço de um único nó na configuração dos clientes, faça um health check a cada nó individualmente, para que uma zona em baixo seja retirada da rotação sem passos manuais, e garanta que as bibliotecas cliente têm a recuperação automática de ligações ativa, para que uma ligação perdida se religue sozinha a um nó sobrevivente em vez de exigir o reinício da aplicação.

Provar a alta disponibilidade antes da entrada em produção: lista de exercícios de falha

Um cluster que nunca foi deitado abaixo de propósito é um cluster cujas garantias de alta disponibilidade continuam a ser teóricas. Execute cada um destes testes antes da entrada em produção, e novamente após qualquer alteração significativa de topologia, com alguém a acompanhar o comportamento esperado — e não apenas a confirmar que o cluster acabou por voltar.

  • Mate um nó de uma vez (kill -9 ao processo beam). Esperado: os outros dois nós dão-no como em baixo num intervalo de heartbeat, os líderes das filas de quórum nesse nó são reeleitos e os clientes com connection recovery religam-se sem erros na aplicação.
  • Retire um nó de forma ordenada com rabbitmqctl stop_app. Esperado: a liderança é transferida antes de o processo parar efetivamente e não aparecem eventos de eleição não planeados no log.
  • Isole, ao nível da rede, uma zona das outras duas. Esperado: o nó isolado entra em pausa com pause_minority, a maioria sobrevivente continua a funcionar e não são aceites escritas dos dois lados ao mesmo tempo.
  • Encha o disco de um nó. Esperado: dispara localmente um alarme de disco, esse nó bloqueia novas ligações e o resto do cluster não é afetado.
  • Esgote a memória de um nó. Esperado: dispara um alarme de memória, os publishers ligados a esse nó ficam bloqueados e os consumidores continuam a escoar o que já está em fila.
  • Reinicie um nó sob carga contínua equivalente à de produção. Esperado: volta a juntar-se e as suas réplicas ressincronizam automaticamente, sem intervenção manual e sem picos visíveis na profundidade das filas.
  • Force a expiração de um certificado TLS (ou simule-a num ambiente inferior). Esperado: as ligações falham com um erro de handshake claro, e não com um bloqueio silencioso, confirmando que o seu runbook de rotação funciona de facto antes de um certificado real expirar.
  • Mate especificamente o nó que lidera neste momento uma fila crítica, e não um nó qualquer. Esperado: é eleito um novo líder em segundos e os publisher confirms em curso são repetidos de forma transparente pela biblioteca cliente.
  • Pare todos os nós de uma AZ em simultâneo para simular a indisponibilidade de uma zona inteira. Esperado: as duas zonas restantes mantêm o cluster e todas as filas de quórum disponíveis durante todo o tempo.
  • Retire um nó da rotação do load balancer através do seu health check antes de lhe mexer. Esperado: o tráfego deixa de ser encaminhado para ele antes de qualquer outra ação, sem nenhum erro visível para os clientes.
  • Execute uma rolling upgrade, um nó de cada vez. Esperado: o cluster mantém-se disponível durante toda a sequência e a janela com versões mistas fecha dentro do tempo de manutenção planeado.
  • Faça falhar um consumidor a meio de um acknowledgement. Esperado: as mensagens sem ack regressam automaticamente à fila quando a ligação fecha, sem perda de mensagens.
  • Injete latência artificial entre duas AZ em vez de cortar completamente a ligação. Esperado: isto mostra-lhe que aspeto tem nas métricas um congestionamento de rede real, para que não o confunda com uma falha de hardware durante um incidente a sério.

Para clusters executados em Kubernetes gerido, a versão específica da plataforma de vários destes exercícios, em especial os casos de drain de nós e de rolling upgrade, é tratada em RabbitMQ em EKS vs AKS vs GKE e em arquitetura RabbitMQ de produção para empresas. Se o seu cluster já está em produção e prefere que alguém execute esta lista de exercícios sob carga equivalente à de produção em vez de a programar de raiz, é esse o tipo de projeto que o nosso trabalho de estabilização de Kubernetes de missão crítica e a nossa equipa de suporte realizam regularmente, com objetivos de resposta a partir de 15 minutos, consoante o plano, caso algum exercício revele uma lacuna real.

Objetivos de resposta a partir de 15 minutos, consoante o plano. Engenheiros seniores designados.

Contacte-nos

Como funciona a recuperação de desastres entre zonas de disponibilidade ou sites?

O clustering padrão do RabbitMQ foi concebido para funcionar com baixa latência, dentro do mesmo datacenter. Estender um cluster entre zonas de disponibilidade ou sites com latência significativa introduz atraso no consenso Raft e não é recomendado para distâncias geográficas.
A arquitetura correta para recuperação de desastres multi-site ou multi-AZ é a warm schema replication (disponível na distribuição comercial Tanzu RabbitMQ).
O que faz a warm schema replication:
  • Mantém uma cópia quase em tempo real de todo o esquema RabbitMQ num site secundário: todas as filas, bindings, exchanges, virtual hosts, utilizadores e permissões
  • Encaminha de forma assíncrona as mensagens em trânsito para o secundário, para que este tenha o estado sincronizado mais recente
  • Permite promover o secundário a primário a qualquer momento, com um esforço de recuperação mínimo
  • Suporta promoção bidirecional — qualquer dos sites pode passar a primário

«É uma cópia quase em tempo real do ambiente. As transações são efetivamente enviadas de forma assíncrona e confirmadas. Por isso, em vez de ser uma cópia em que é preciso pôr tudo em dia, é o estado sincronizado mais recente do message broker a que se consegue chegar.»

— Scott Sternloff, arquiteto principal da AceMQ, chamada de descoberta com uma empresa de serviços financeiros, junho de 2026

E o licenciamento de DR entre sites?

No modelo de licenciamento comercial, os ambientes são contabilizados independentemente de serem de produção, QA, UAT ou DR. Uma configuração com produção e DR totalmente espelhados exige licenças tanto para o cluster primário como para o de DR.
Em implementações mais pequenas, isto pode ser otimizado: os ambientes inferiores (QA, UAT) podem não precisar de réplicas de DR, e esses ambientes podem ser dimensionados de forma mais conservadora.

«Se só estiver a espelhar a produção, os ambientes inferiores não precisam de DR. O seu ambiente de QA pode nem precisar de clustering — ou está em cima ou está em baixo. Assim pode simplificar muito e reduzir o número de licenças em conformidade.»

— Scott Sternloff, arquiteto principal da AceMQ, chamada de descoberta com uma empresa de serviços financeiros, junho de 2026

Quer esteja a dimensionar um novo cluster, a desenhar um failover multi-site ou a avaliar se a warm schema replication compensa o custo do licenciamento comercial, contacte o suporte da AceMQ e definiremos o âmbito para o seu ambiente concreto.

Nos ambientes regulados, a stack envolvente tem as suas próprias obrigações — veja a stack de mensagens em setores regulados.

Se a questão em aberto for o mecanismo para mover mensagens entre regiões, e não a forma de dimensionar e posicionar os clusters, essa decisão tem o seu próprio guia: federation vs shovel do RabbitMQ para recuperação de desastres.

Como testar a recuperação de desastres do RabbitMQ: o exercício que fazemos antes da entrada em produção

Um cluster que nunca perdeu um nó a sério vai surpreendê-lo da primeira vez que isso acontecer, normalmente às 2 da manhã. Este é o programa que executamos com os clientes antes de um cluster RabbitMQ receber tráfego de produção. Demora cerca de um dia e produz números em vez de opiniões.

Pré-requisitos.

  • Um cluster de staging com a mesma forma da produção: o mesmo número de nós, a mesma distribuição por AZ, a mesma versão do RabbitMQ (fazemos isto em tudo, desde a 3.8.x até à 4.x), os mesmos tipos de filas, políticas, bibliotecas cliente e definições de ligação. As filas de quórum e as clássicas falham de forma diferente, por isso, se a produção tem ambas, o staging também tem. Veja /blogs/rabbitmq-classic-vs-quorum-queues/ para perceber porque é que isso importa aqui.
  • Publishers e consumidores sintéticos com números de sequência. Cada publisher marca as mensagens com um id de stream e um contador crescente; cada consumidor regista todas as sequências que vê. Isso torna a perda (uma falha na sequência) e a duplicação (uma repetição) contáveis em vez de discutíveis. Os publishers usam confirms e os consumidores usam acks manuais.
  • Dashboards ativos: profundidade das filas, taxas de publicação e de entrega, alarmes de memória e de disco, número de líderes de quórum por nó, ligações e canais e latência dos confirms do lado do cliente. Se não o consegue ver, não o consegue validar.
  • Um responsável designado pelo runbook, um canal partilhado e um relógio.

Os exercícios, por ordem.

  1. Matar um membro do quórum. Pare o RabbitMQ num nó que seja seguidor da maioria das filas. Observe a eleição de líder nas filas que liderava e a latência dos confirms nos publishers. Critério de sucesso: a eleição conclui-se em poucos segundos, zero falhas de sequência nos consumidores e os publisher confirms continuam a chegar durante todo o processo. Reinicie o nó e confirme que volta a juntar-se e recupera o atraso.
  1. Matar o nó com mais líderes. Os líderes acumulam-se no nó que arrancou primeiro, por isso esta é a versão mais exigente do exercício 1. Mate-o, observe os mesmos sinais, volte a pô-lo em funcionamento e, depois, reequilibre:
rabbitmq-queues rebalance quorum

Critério de sucesso: nenhuma perda, os confirms continuam e, após o rebalance, o número de líderes fica aproximadamente uniforme entre os nós.

  1. Encher um disco até ao alarme de espaço livre. Escreva um ficheiro grande num nó até o disk_free_limit disparar. Critério de sucesso: as ligações dos publishers aparecem como bloqueadas na consola de gestão, as publicações ficam suspensas em vez de falharem, os consumidores continuam a escoar e a publicação retoma sozinha depois de o ficheiro ser apagado. Se os consumidores também pararem, há um consumidor a partilhar uma ligação com um publisher; corrija isso antes de entrar em produção.
  1. Particionar a rede entre nós. Com cluster_partition_handling = pause_minority, bloqueie o tráfego entre um nó e os outros dois usando iptables. Critério de sucesso: o nó em minoria entra em pausa, as filas de quórum do lado da maioria continuam a servir, os clientes ligados ao nó em pausa recebem um erro de ligação e religam-se a um host sobrevivente da sua lista de endereços, e o cluster recupera sem intervenção manual quando a regra é removida. Registe o que os clientes escreveram nos logs; essa linha é o que o seu engenheiro de prevenção vai ver.
  1. Perder uma zona de disponibilidade. Pare todos os nós de uma AZ ao mesmo tempo. Numa distribuição por três AZ, sobrevive uma maioria. Critério de sucesso: idêntico ao do exercício 1, zero perdas e confirms contínuos. Se o load balancer demorar mais do que alguns segundos a retirar os nós mortos, corrija já o health check.
  1. Failover regional. Pare os publishers, anote a sequência mais alta confirmada na região A, desligue a região A e faça failover para a região B através do caminho entre regiões que escolheu (veja /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). O RPO é o número de mensagens confirmadas em A que nunca aparecem em B; leia-o diretamente nos logs de sequência. O RTO é o tempo real decorrido desde a falha até os consumidores estarem a funcionar contra B. Critério de sucesso: ambos os números ficam dentro dos objetivos aprovados pelo negócio. Registe-os; são a resposta honesta à pergunta «qual é a nossa postura de DR».
  1. Failback sem duplicados. Volte a pôr a região A a funcionar e devolva-lhe o tráfego. Critério de sucesso: os logs de sequência dos consumidores não mostram repetições. Se mostrarem, os consumidores não são idempotentes, e isso é uma correção na aplicação, não no broker.
  1. Restaurar a partir de backup. Exporte as definições com rabbitmqctl export_definitions, destrua o cluster de staging, reconstrua-o e volte a importá-las. Critério de sucesso: exchanges, filas, bindings, vhosts, utilizadores, permissões e políticas são todos repostos. Saiba o que não volta: as mensagens. Um backup de definições é topologia, não dados. A sobrevivência das mensagens vem da replicação e do caminho entre regiões, nunca de um ficheiro de backup.
ExercícioO que se medeCritério de sucesso
Matar um membroTempo de eleição, falhas na sequência, fluxo de confirmsSegundos, zero, sem interrupções
Matar o nó com mais líderesO mesmo, mais a distribuição dos líderes após o rebalanceO mesmo, aproximadamente uniforme
Alarme de discoEstado dos publishers, débito dos consumidoresBloqueados, continuam a escoar
Partição de redeComportamento da minoria, religação dos clientesPausa, religa, recupera sozinho
Perder uma AZA maioria continuaZero perdas
Failover regionalRPO em mensagens, RTO em minutosDentro dos objetivos acordados
FailbackNúmero de duplicadosZero
Restauro a partir de backupDefinições reimportadasTopologia completa reposta

Periodicidade. Execute o programa completo antes da entrada em produção e novamente após qualquer alteração de topologia: um novo nó, uma mudança de AZ, uma atualização de versão principal, uma alteração no tratamento de partições. Execute a eliminação de um único nó todos os trimestres; é barata e apanha desvios na religação dos clientes que ninguém quis introduzir. Execute o failover regional pelo menos uma vez por ano e sempre que mude o responsável pelo runbook, porque um runbook que nenhum dos presentes executou é um documento, não uma capacidade. A maior parte das falhas descritas em /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ teria surgido primeiro num destes exercícios.

Uma revisão de dimensionamento e de DR, exercícios incluídos, é um projeto habitual da AceMQ; veja /rabbitmq/.

How to test RabbitMQ disaster recovery: the drill we run before go-live

A cluster that has never lost a node in anger will surprise you the first time it does, usually at 2am. This is the programme we run with clients before a RabbitMQ cluster carries production traffic. It takes about a day and produces numbers rather than opinions.

Pre-conditions.

  • A staging cluster shaped like production: same node count, same AZ placement, same RabbitMQ version (we run this on everything from 3.8.x to 4.x), same queue types, policies, client libraries and connection settings. Quorum and classic queues fail differently, so if production has both, staging has both. See /blogs/rabbitmq-classic-vs-quorum-queues/ for why that matters here.
  • Synthetic publishers and consumers with sequence numbers. Each publisher stamps messages with a stream id and an increasing counter; each consumer records every sequence it sees. That makes loss (a gap) and duplication (a repeat) countable instead of arguable. Publishers use confirms, consumers use manual acks.
  • Dashboards up: queue depth, publish and deliver rates, memory and disk alarms, quorum leader count per node, connections and channels, and client-side confirm latency. If you cannot see it, you cannot pass it.
  • A named runbook owner, a shared channel, and a clock.

The drills, in order.

  1. Kill one quorum member. Stop RabbitMQ on a node that follows most queues. Watch leader election on the queues it led and watch confirm latency at the publishers. Pass: election completes in a few seconds, zero sequence gaps at the consumers, publisher confirms keep arriving throughout. Restart the node and confirm it rejoins and catches up.
  1. Kill the node holding the most leaders. Leaders pile onto whichever node was up first, so this is the harder version of drill 1. Kill it, watch the same signals, bring it back, then rebalance:
rabbitmq-queues rebalance quorum

Pass: no loss, confirms continue, and after the rebalance the leader count is roughly even across nodes.

  1. Fill a disk to the free-disk alarm. Write a large file on one node until disk_free_limit trips. Pass: publisher connections show as blocked in management, publishes stall rather than fail, consumers keep draining, and publishing resumes on its own once the file is deleted. If consumers stop too, a consumer is sharing a connection with a publisher; fix that before go-live.
  1. Partition the network between nodes. With cluster_partition_handling = pause_minority, block traffic between one node and the other two using iptables. Pass: the minority node pauses itself, quorum queues on the majority side keep serving, clients on the paused node see a connection error and reconnect to a surviving host from their address list, and the cluster heals without manual intervention when the rule is removed. Record what the clients logged; that line is what your on-call engineer will see.
  1. Lose an availability zone. Stop every node in one AZ at once. In a three-AZ layout a majority survives. Pass: identical to drill 1, zero loss and continuing confirms. If the load balancer takes more than a few seconds to drop the dead nodes, fix the health check now.
  1. Regional failover. Stop the publishers, note the highest sequence confirmed in region A, take region A down, and fail over to region B using whichever cross-region path you chose (see /blogs/rabbitmq-federation-vs-shovel-disaster-recovery/). RPO is the count of messages confirmed in A that never appear in B; read it straight from the sequence logs. RTO is wall-clock time from the outage to consumers running against B. Pass: both numbers sit inside the targets the business signed off on. Write them down; they are the honest answer to "what is our DR posture".
  1. Failback without duplicates. Bring region A back and return traffic to it. Pass: consumer sequence logs show no repeats. If they do, the consumers are not idempotent, and that is an application fix, not a broker fix.
  1. Restore from backup. Export definitions with rabbitmqctl export_definitions, destroy the staging cluster, rebuild it, re-import. Pass: exchanges, queues, bindings, vhosts, users, permissions and policies all come back. Know what does not: messages. A definitions backup is topology, not data. Message survival comes from replication and the cross-region path, never from a backup file.
DrillWhat you measurePass criterion
Kill one memberElection time, sequence gaps, confirm flowSeconds, zero, uninterrupted
Kill the leader-heavy nodeSame, plus leader spread after rebalanceSame, roughly even
Disk alarmPublisher state, consumer throughputBlocked, keeps draining
Network partitionMinority behaviour, client reconnectPauses, reconnects, self-heals
Lose an AZMajority continuesZero loss
Regional failoverRPO in messages, RTO in minutesInside agreed targets
FailbackDuplicate countZero
Restore from backupDefinitions re-importedFull topology back

Cadence. Run the full programme before go-live and again after any topology change: a new node, an AZ move, a major version upgrade, a change to partition handling. Run the single-node kill quarterly; it is cheap and catches client reconnect drift nobody meant to introduce. Run the regional failover at least yearly and whenever the runbook owner changes, because a runbook nobody present has executed is a document, not a capability. Most of the failures in /blogs/top-10-rabbitmq-troubleshooting-issues-how-to-avoid-them/ would have surfaced in one of these drills first.

A sizing and DR review, drills included, is a normal AceMQ engagement; see /rabbitmq/.

This post is one step in two longer sequences: the RabbitMQ disaster recovery guide takes HA and DR from the failure you are protecting against through to the failover test, and the clustering and sizing guide covers the node, queue-type and sizing decisions that come first.

Perguntas frequentes

Como testamos a recuperação de desastres do RabbitMQ?

Monte um cluster de staging com a mesma forma da produção, execute publishers e consumidores sintéticos que marcam cada mensagem com um número de sequência e, depois, provoque falhas por ordem: um nó, o nó com mais líderes, um disco cheio, uma partição de rede, uma zona de disponibilidade inteira e, por fim, a região. Cada exercício tem um critério de sucesso mensurável, e os logs de sequência dizem-lhe exatamente quantas mensagens se perderam ou foram duplicadas. O exercício regional dá-lhe valores reais de RPO e RTO. Termine com uma exportação e reimportação das definições, para que a equipa tenha restaurado um cluster a partir do zero pelo menos uma vez.

Com que frequência se deve testar o failover do RabbitMQ?

Execute o programa completo de exercícios antes da entrada em produção e após qualquer alteração de topologia, incluindo a adição de nós, mudanças de AZ, atualizações de versão principal e alterações no tratamento de partições. Mate um único nó todos os trimestres; demora uma hora e deteta cedo as regressões na religação dos clientes. Execute o failover regional pelo menos uma vez por ano e novamente sempre que mude o responsável pelo runbook, porque o objetivo do exercício é que as pessoas de prevenção o tenham efetivamente feito. Se ninguém na escala atual executou o failover, já está atrasado. Os clientes da AceMQ com contrato de suporte têm estes exercícios agendados connosco, com objetivos de resposta a partir de 15 minutos, consoante o plano se alguma vez acontecer um failover real; veja /support/.

Um especialista pode dimensionar o nosso cluster RabbitMQ?

Sim. Um projeto de dimensionamento com a AceMQ, parceiro MSP estratégico exclusivo da Broadcom para RabbitMQ, começa pelos seus números reais: taxas de mensagens, tamanhos de payload, número de filas, número de consumidores, retenção durante uma falha dos consumidores e o RPO e RTO de que o negócio realmente precisa. O resultado é um número de nós e uma distribuição por AZ, valores de CPU, memória e disco por nó com margem, definições de filas de quórum e de políticas, uma recomendação sobre o tratamento de partições, um desenho entre regiões quando necessário e um plano de exercícios para provar o resultado antes da entrada em produção. O dimensionamento é uma parte de uma revisão mais ampla de alta disponibilidade e DR; veja /rabbitmq/.

Como desenhar um cluster RabbitMQ distribuído por várias zonas de disponibilidade?

Coloque um nó por AZ, com três AZ como base habitual, já que a latência entre AZ dentro de uma única região é normalmente de um a dois milissegundos e fica bem dentro do que o consenso Raft tolera. Num cluster de três nós, a colocação dos membros de quórum acompanha automaticamente a colocação dos nós, dando a cada fila uma réplica por zona. O `pause_minority` protege-o se uma zona ficar inacessível: o nó isolado entra em pausa enquanto a maioria sobrevivente, em duas zonas, continua a funcionar. Coloque um load balancer ou uma entrada DNS à frente dos três nós e ative a recuperação de ligações do lado do cliente, para que a perda de uma zona não exija religação manual.

Como testar a alta disponibilidade do RabbitMQ antes de entrar em produção?

Execute um exercício de falhas estruturado que inclua a eliminação de nós, retiradas ordenadas, partições ao nível da zona, esgotamento de disco e de memória, rolling upgrades e uma simulação completa da indisponibilidade de uma AZ, cada um com o comportamento esperado por escrito. O objetivo é provar que o cluster se comporta como a sua arquitetura pressupõe, e não apenas confirmar que acaba por voltar a ficar disponível. Faça-o antes da entrada em produção e novamente após qualquer alteração significativa de topologia ou de versão, já que os pressupostos de alta disponibilidade não testados tendem a vir à tona pela primeira vez durante um incidente real.

How do I test RabbitMQ high availability before production?

Run a structured failure drill covering node kills, graceful drains, zone-level partitions, disk and memory exhaustion, rolling upgrades, and a full simulated AZ outage, each with a written expected observation. The goal is proving the cluster behaves the way your architecture assumes it will, not just confirming it eventually comes back online. Do this before go-live and again after any significant topology or version change, since untested assumptions about HA tend to surface for the first time during a real incident.

Consulta gratuita

Peça a um especialista que analise o seu cluster RabbitMQ

Quer esteja a resolver um incidente em produção, a planear uma migração ou queira uma segunda opinião sobre a sua arquitetura, a nossa equipa está pronta. Sem discursos de vendas, apenas respostas.

Enviar e-mail