BlogRabbitMQ

Design de arquitetura RabbitMQ para a escala do estado futuro: um framework de planejamento

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 16 min de leitura

Design de arquitetura RabbitMQ para a escala do estado futuro: um framework de planejamento
On this page

Uma arquitetura RabbitMQ dimensionada para a carga de hoje raramente sobrevive a um crescimento de 5 a 10 vezes — a topologia do cluster, a replicação das quorum queues e a mensageria entre regiões quebram de formas diferentes sob escala do que durante um incidente reativo. Planejar a carga do estado futuro com uma avaliação do estado atual, um design do estado-alvo e um plano de rollout em fases evita o projeto de rearquitetura que aparece dois anos depois como uma emergência.

A maioria das equipes nunca faz esse exercício. Elas remendam o cluster que existe, um incidente de cada vez, até o crescimento ultrapassar a topologia e alguém precisar redesenhar tudo sob pressão. Veja a seguir como é, em vez disso, um processo deliberado de design do estado futuro.

O que significa, na prática, uma arquitetura RabbitMQ de "estado futuro"?

Significa projetar a topologia do cluster, os tipos de fila e a mensageria entre regiões para a carga, a quantidade de nós e a superfície de integração que você espera com 5 a 10 vezes a escala atual — e depois trabalhar de trás para a frente até um caminho de migração, em vez de projetar para a carga atual e torcer para que a arquitetura aguente.

A distinção importa porque o RabbitMQ não degrada de forma linear. Um cluster que lida com folga com a quantidade de bindings, de links de federation e de fan-out de consumidores de hoje pode bater em um muro bem antes de 10 vezes, porque os bindings de exchanges, a replicação das quorum queues e o tempo de ressincronização da federation carregam um overhead que se multiplica com a escala, em vez de crescer na mesma proporção.

Como conduzir um exercício de design do estado futuro em vez de remendar de forma reativa?

Três fases, nesta ordem: avaliação do estado atual, design do estado-alvo e plano de migração. Pular direto para o design do estado-alvo sem a avaliação é o modo de falha mais comum — as equipes desenham uma arquitetura idealizada que ignora as bibliotecas cliente, as equipes de aplicação e as restrições operacionais que já estão em produção, e o design fica parado em revisão indefinidamente.

Em um projeto recente de design do estado futuro para uma grande operadora do setor de energia, que rodava o RabbitMQ no monitoramento de dutos conectado a SCADA, construímos duas opções de arquitetura em paralelo, e não uma: um design greenfield, sem nenhuma restrição, e um design com restrições, que conciliava esse ideal com o que as equipes de aplicação conseguiam mudar de forma realista dentro da janela do projeto. Documentar a justificativa de cada divergência entre os dois — por que valia a pena forçar o upgrade de uma biblioteca cliente e onde a equipe aceitou um meio-termo — fez mais para conquistar o apoio dos stakeholders do que qualquer uma das opções sozinha teria feito.

A outra mudança que fez diferença: revisar o design em checkpoints curtos e iterativos, em vez de entregar uma arquitetura pronta no final. Uma fase de design de quatro semanas que só recebe feedback na quarta semana desperdiça três delas se a direção estiver errada.

Quais blocos de construção do RabbitMQ você precisa acertar antes de escalar?

Um design do estado futuro não é só um exercício de clusters e nós — os tipos de exchange, as routing keys, os virtual hosts e as dead-letter queues que você escolhe agora determinam quanto retrabalho os próximos 5 a 10 vezes vão custar. Um direct exchange com uma routing key estável escala de forma previsível; um topic exchange com routing keys curinga dá flexibilidade hoje, mas é exatamente o que provoca a proliferação de bindings mais adiante, então merece uma segunda olhada antes de passar a sustentar dezenas de integrações. Fanout exchanges são simples e duráveis em escala justamente porque dispensam por completo a avaliação de routing keys — vale usá-los por padrão em padrões de broadcast em que o roteamento seletivo não é realmente necessário.

Virtual hosts são o isolamento mais barato que você vai comprar: separar ambientes, tenants ou unidades de negócio por vhost dentro de uma mesma implantação de sistemas distribuídos evita dividir tudo em clusters separados mais tarde só por motivos de controle de acesso. E as dead-letter queues deixam de ser opcionais quando o volume sobe — um design do estado futuro deve definir de antemão o tratamento de poison messages e os delivery limits por fila, e não adaptá-los depois que a primeira tempestade de requeue derrubar um message broker que, fora isso, estava saudável. Nada disso é exótico. São fundamentos de alta disponibilidade e de arquitetura orientada a eventos aplicados de forma deliberada, e não por acaso.

Quais decisões de topologia do cluster importam com 5 a 10 vezes a escala?

Três decisões ganham um peso desproporcional quando o volume cresce: a quantidade e a distribuição dos nós, o design de exchanges e bindings e o quanto você depende de um único cluster em vez de dividir as cargas de trabalho. A quantidade de nós não é só uma alavanca de throughput — o overhead de replicação das quorum queues e o do consenso Raft crescem com o tamanho do cluster, então uma topologia de 3 nós que funciona bem não fica simplesmente mais rápida com 9 nós: ela se comporta de outro jeito.

O design de bindings é o que as equipes mais subestimam, de forma consistente. Um padrão de topic exchange que funciona bem com alguns milhares de bindings pode se tornar um passivo real quando a quantidade de bindings chega às dezenas de milhares — não porque o RabbitMQ não consiga armazená-los, mas porque reconstruir o estado de roteamento após a perda de um nó ou uma ressincronização da federation fica bem mais lento à medida que a quantidade de bindings cresce. Já vimos um link de federation que normalmente ressincronizava em cerca de 15 minutos levar mais de uma hora para se reconstruir durante um incidente, só por causa do volume de bindings — e, em um sistema conectado a SCADA, um consumidor sem dados atualizados por 10 minutos dispara uma parada forçada do duto. Esse é o tipo de modo de falha que um design do estado futuro precisa levar em conta antes de acontecer, e não depois.

Como dimensionar as quorum queues para o crescimento futuro?

Dimensione o fator de replicação com base na quantidade de nós para a qual você está projetando, e não na que roda hoje. Um fator de replicação 3 é o padrão e funciona bem para a maioria das cargas de trabalho; filas críticas às vezes justificam 5, mas cada réplica adiciona overhead de consenso Raft a todo o grupo, então superdimensionar "por via das dúvidas" tem um custo real de throughput.

A questão de dimensionamento que realmente importa na escala do estado futuro não é o fator de replicação isoladamente — é o fator de replicação combinado com a quantidade projetada de consumidores e com a taxa de mensagens por fila. Um design de filas que funciona bem com o fan-out de consumidores de hoje pode enfrentar problemas de latência de consenso quando você multiplica por 5 a quantidade de consumidores disputando a mesma quorum queue. Faça os testes de carga no volume-alvo antes de fechar a topologia, e não depois da migração.

Parâmetro de designDimensionamento para hojeDimensionamento para o estado futuro
Fator de replicaçãoAcompanha a quantidade atual de nósAcompanha a quantidade-alvo de nós com 5 a 10 vezes a escala
Quantidade de bindings por exchangePadrões de roteamento atuaisQuantidade projetada de integrações, com teste de carga
Tempo de ressincronização da federationNão testado até um incidente forçar o testeMedido em benchmark com o volume projetado de bindings

Quando usar federation ou shovel na mensageria entre várias regiões?

A federation é o padrão para a distribuição contínua entre várias regiões: ela mantém exchanges ou filas sincronizados de forma flexível entre regiões, se reconecta automaticamente quando um link cai e não exige que a topologia de origem e a de destino sejam exatamente iguais. O Shovel é um mecanismo mais simples, ponto a ponto — ele move mensagens de uma origem definida para um destino definido e se encaixa melhor em migrações pontuais, em padrões de retransmissão ou na ponte entre ambientes que não vão rodar federation no longo prazo.

O erro que mais vemos em designs com várias regiões é tratar a federation como um mecanismo de escala, e não como um mecanismo de distribuição. A federation não reduz a carga de uma região — ela a replica. Se a proliferação de bindings ou o fan-out de consumidores é o gargalo real, adicionar links de federation entre mais regiões multiplica o problema em vez de resolvê-lo. Normalmente é nesse ponto que os streams, usados internamente em uma região para logs de eventos de alto volume, passam a ser o melhor complemento para a federation na fronteira entre regiões, e não um substituto para ela.

FederationShovel
Melhor paraDistribuição contínua entre várias regiõesMigração pontual ou retransmissão simples
ReconexãoAutomáticaConfigurável, menos automática por padrão
Encaixe na topologiaOrigem e destino podem divergirCaminho fixo da origem ao destino

O RabbitMQ sobrevive à falha de uma região?

Primeiro, a resposta honesta: não, não como um único cluster. O clustering padrão do RabbitMQ pressupõe latência baixa, dentro do mesmo datacenter, como explicado em HA, recuperação de desastres e dimensionamento de clusters. Estenda o consenso Raft de um cluster entre regiões e cada escrita paga a latência real da rede, e as partições falso-positivas deixam de ser casos raros e passam a acontecer toda semana. A falha de uma região precisa ser tratada por algo que não seja o cluster sobreviver intacto a ela, o que significa escolher um de quatro padrões e aceitar o que cada um custa em consistência.

  • Federation. Replicação assíncrona, com consistência eventual, entre regiões. Cada região continua operando de forma independente com as próprias filas locais; se o link com outra região cai, as mensagens se acumulam e são encaminhadas quando ele se reconecta. No caso específico da falha de uma região, o padrão é a região sobrevivente continuar consumindo o próprio tráfego local, e não assumir de imediato as filas da região que falhou. É o de menor overhead operacional entre os quatro e o mesmo já descrito acima para a distribuição estável entre várias regiões; o caso de DR é o mesmo mecanismo, só que acionado por uma indisponibilidade em vez de rodar continuamente por design.
  • Shovel. A mesma ideia assíncrona, mas ponto a ponto e mais simples de entender. Ele se encaixa melhor em um fluxo de recuperação definido do que em uma sincronização bidirecional contínua: drenar o backlog pendente da região que falhou para a região sobrevivente como parte de um failover roteirizado, em vez de manter duas regiões em uma relação de sincronização permanente.
  • Replicação warm standby do Tanzu RabbitMQ. A opção comercial, às vezes chamada de warm schema replication: uma cópia assíncrona quase em tempo real de todo o schema, das filas, dos bindings, dos exchanges, dos usuários e das permissões, além das mensagens em trânsito, mantida em um site secundário. O secundário pode ser promovido a primário com um esforço mínimo de recuperação, e a promoção funciona nas duas direções. É o RPO mais apertado dos quatro, medido em segundos de atraso, e não em minutos, e é um recurso licenciado: veja em licenciamento do RabbitMQ quanto isso custa em um ambiente com primário mais DR.
  • Replay no nível da aplicação a partir de um armazenamento durável. Grave os payloads, ou o suficiente deles para reconstruir a operação, em um armazenamento durável totalmente fora do RabbitMQ, como um object store ou uma tabela de outbox, além de publicá-los normalmente. Na falha de uma região, faça o replay a partir desse armazenamento para a região sobrevivente. É a recuperação mais lenta dos quatro e a que exige mais esforço de engenharia para construir e testar corretamente, mas não precisa de nenhuma ferramenta de DR específica do RabbitMQ e funciona com qualquer tipo de fila, incluindo classic queues e streams, que as outras três opções não cobrem tão bem.

A escolha depende do RPO e do RTO, e não de preferência. Se o negócio realmente não tolera perder mais do que alguns segundos de dados em trânsito, a replicação warm standby é a única das quatro feita para isso. Se minutos de atraso são aceitáveis e a equipe já roda federation para distribuição, estender o mesmo padrão para cobrir o failover custa pouco a mais. Se o failover é raro o suficiente para que um fluxo roteirizado ponto a ponto seja mais fácil de manter do que uma relação de replicação permanente, o shovel se encaixa. E, se não há orçamento para a licença comercial e a equipe consegue assumir uma lógica de replay customizada, o replay no nível da aplicação funciona, mas só se alguém realmente testar o caminho de replay antes de a região que precisa dele cair.

Qualquer que seja o padrão escolhido, um runbook de failover regional precisa responder por escrito a cinco perguntas antes que um incidente obrigue você a respondê-las ao vivo: os critérios para declarar uma região fora do ar e quem tem autoridade para declarar isso, para que uma oscilação passageira não dispare um failover desnecessário; os passos exatos de promoção, seja um comando de virada do warm standby, a inversão da direção de um link de federation ou o disparo de um job de replay; como as conexões dos clientes são redirecionadas — mudança de DNS, mudança da connection string ou ambas — e o que se espera que as conexões existentes na região que falhou façam quando não conseguirem se reconectar lá; um plano de reconciliação para quando a região que falhou voltar, para que você não acabe processando o mesmo trabalho duas vezes nem reintroduza um split-brain entre duas regiões que se consideram primárias; e uma etapa de verificação — profundidade das filas, consumer lag e, de preferência, uma transação sintética — que confirme que o failover realmente funcionou antes de alguém dar o incidente por resolvido. O nosso trabalho de recuperação de desastres baseado em replay com Boomi mostra como esse runbook funciona na prática para equipes que usam especificamente o padrão de replay no nível da aplicação.

Quando dividir em vários clusters lógicos em vez de escalar um só?

Divida quando as cargas de trabalho tiverem requisitos de disponibilidade realmente diferentes, quando um tenant barulhento ou com muitos bindings puder degradar os links de federation compartilhados com um tenant crítico ou quando fronteiras de residência de dados ou regulatórias exigirem isso de forma explícita. No exemplo conectado a SCADA acima, o argumento para o isolamento era concreto: uma carga de integração com muitos bindings compartilhando o cluster com o monitoramento de dutos ligado à segurança de vidas significava que a proliferação de roteamento de uma equipe podia atrasar a ressincronização da federation da qual a outra equipe dependia para evitar uma parada forçada.

Mantenha um único cluster quando não houver esse tipo de assimetria. Cada cluster lógico adicional é mais uma topologia para monitorar, mais um conjunto de links de federation para manter e mais uma superfície para drift de configuração entre ambientes. Equipes que dividem cedo demais — antes de haver um motivo real de isolamento — normalmente acabam com mais overhead operacional do que a divisão economizou.

Como é o plano de migração e de rollout?

Um plano de rollout sequencia as mudanças para que o tráfego de produção nunca dependa de uma única virada. Isso normalmente significa subir a nova topologia ao lado da antiga, mover o tráfego de forma incremental, por fila ou por grupo de consumidores, e manter um caminho de rollback ativo até o novo design passar por um ciclo de pico completo. Conversões para quorum queues, redesenhos de bindings e mudanças nos links de federation ganham cada um a sua própria fase, em vez de entrarem todos juntos.

A decisão de sequenciamento mais esquecida é ordenar por risco, e não por conveniência. As equipes tendem a migrar primeiro as cargas mais fáceis, porque isso mostra progresso — mas o design do estado futuro deve identificar qual carga de trabalho valida de fato a premissa mais arriscada da nova topologia e migrá-la cedo o suficiente para ainda dar tempo de mudar de rumo se ela estiver errada.

Para ver em detalhe as contas de dimensionamento por trás das decisões sobre clusters e quorum queues, consulte o nosso guia de HA, recuperação de desastres e dimensionamento de clusters. Se as classic queues ainda fazem parte da avaliação do estado atual, o nosso guia de migração de classic para quorum queues trata dessa conversão, e o post sobre durabilidade de mensagens explica o que a replicação garante e o que não garante depois que a nova topologia entra no ar.

Projete para onde você está indo, não para onde você está

A maioria das arquiteturas RabbitMQ não está errada para hoje — ela está errada para daqui a dezoito meses, e ninguém marcou a conversa que iria perceber isso. Um exercício de design do estado futuro é essa conversa, feita de forma deliberada, e não no meio de uma indisponibilidade.

Se a sua equipe está planejando crescimento, uma fusão ou uma expansão para várias regiões e quer uma arquitetura-alvo documentada e um plano de rollout antes de se comprometer, a nossa equipe de arquitetura RabbitMQ conduz esse trabalho como um projeto estruturado — avaliação do estado atual, design do estado-alvo com justificativas documentadas e um plano de migração em fases, sequenciado por risco. Fale com um arquiteto de RabbitMQ para definir o escopo de um projeto para o seu ambiente.

Perguntas frequentes

O que é um exercício de design de arquitetura RabbitMQ para o estado futuro?

É um processo estruturado de planejamento — avaliação do estado atual, design do estado-alvo e plano de migração — que dimensiona o RabbitMQ para onde o negócio está indo, e não só para onde ele está hoje. Ele substitui correções pontuais por um plano documentado de topologia, filas e operação em várias regiões que a equipe pode executar ao longo de trimestres, e não no meio de um incidente.

Como saber se a minha arquitetura RabbitMQ vai aguentar um crescimento de 5 a 10 vezes?

Modele as três coisas que quebram de forma não linear em escala: a quantidade de bindings por exchange, o tempo de reconstrução dos links de federation após a perda de um nó e o overhead de replicação das filas. Se a quantidade de bindings já está na casa das dezenas de milhares ou se a federation já leva minutos para ressincronizar hoje, essa curva piora, e não melhora, com volumes maiores.

Qual é a diferença entre federation e shovel do RabbitMQ em um cenário com várias regiões?

A federation mantém exchanges ou filas sincronizados de forma flexível entre regiões, com reconexão automática, e é a escolha padrão para a replicação contínua entre várias regiões. O Shovel move mensagens ponto a ponto entre uma origem e um destino fixos e se encaixa melhor em migrações pontuais ou em padrões simples de retransmissão do que em uma topologia estável com várias regiões.

Como dimensionar as quorum queues para o crescimento futuro, e não só para a carga atual?

Dimensione o fator de replicação (normalmente 3, às vezes 5 para filas críticas) com base na quantidade de nós-alvo, e não na atual, e faça testes de carga com a quantidade de bindings e de consumidores no volume projetado antes de se comprometer com uma topologia. O overhead de replicação das filas de quórum (quorum queues) cresce com o tamanho do cluster, então um design que funciona com 3 nós pode se comportar de outro jeito com 9.

Quando dividir o RabbitMQ em vários clusters lógicos em vez de escalar um só?

Divida quando as cargas de trabalho tiverem requisitos de disponibilidade substancialmente diferentes, quando um tenant barulhento puder degradar os links de federation de outro ou quando fronteiras regulatórias ou de residência de dados exigirem isolamento. Mantenha um único cluster quando o overhead operacional de rodar vários superar o benefício do isolamento — a maioria das equipes subestima esse overhead.

Quanto tempo costuma levar um projeto de design do estado futuro do RabbitMQ?

Uma fase de design focada — da avaliação do estado atual até uma arquitetura-alvo documentada e um plano de rollout — costuma levar de três a seis semanas, dependendo de quantas equipes e aplicações downstream precisam opinar sobre as restrições. A implementação e a migração vêm depois, como uma fase separada e mais longa.

Preciso abandonar a federation para migrar para um design com streams em várias regiões?

Não. Streams e federation resolvem problemas diferentes e podem coexistir — streams para logs de eventos de alto volume e com replay dentro de uma região, federation para a distribuição entre regiões. A maioria dos designs de estado futuro mantém a federation na fronteira entre regiões e introduz streams internamente onde a proliferação de bindings é o gargalo real.

Quais entregáveis saem de um exercício de design do estado futuro do RabbitMQ?

Uma avaliação do estado atual que documenta a topologia de hoje e os seus pontos de ruptura, uma arquitetura do estado-alvo com a justificativa documentada de cada decisão importante e um plano de migração em fases, que sequencia as mudanças para que o tráfego de produção nunca fique dependente de uma única virada big-bang.

O RabbitMQ sobrevive à falha de uma região?

Não como um único cluster estendido; o clustering padrão do RabbitMQ pressupõe latência baixa, dentro do mesmo datacenter, e não tolera bem o atraso de um link entre regiões. Sobreviver à falha de uma região significa usar federation, shovel, a replicação warm standby do Tanzu RabbitMQ ou o replay no nível da aplicação a partir de um armazenamento durável entre dois clusters regionais independentes, escolhendo com base em quanta perda de dados e quanto tempo de recuperação o negócio tolera. A replicação warm standby oferece o ponto de recuperação mais apertado, mas é um recurso comercial licenciado; as outras três são padrões open source com garantias mais frouxas.

A federation do RabbitMQ serve para recuperação de desastres?

Sim, para equipes que toleram um ponto de recuperação com consistência eventual, medido em minutos e não em segundos. A federation replica de forma assíncrona entre regiões e se reconecta automaticamente quando um link cai, então a região que sobrevive continua operando com o próprio tráfego durante uma indisponibilidade. Não é o RPO mais apertado disponível — esse é o da replicação warm standby do Tanzu RabbitMQ —, mas custa pouco a mais estendê-la se a equipe já usa federation para a distribuição estável entre várias regiões.

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Consulta gratuita

Um olhar especializado sobre seu cluster RabbitMQ

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail