On this page
RabbitMQ entre regiões é um problema de movimentação de mensagens, não de replicação
A pergunta que mais ouvimos dos arquitetos que estão a planear uma segunda região é uma variante de "federation ou shovel no RabbitMQ para DR?". É a pergunta certa, mas esconde um pressuposto errado. Ambos os plugins movem mensagens entre clusters que não partilham qualquer estado. Nenhum deles copia uma fila. Nenhum mantém dois clusters em sincronia. Se o seu plano de DR conta que o standby tenha as mesmas mensagens que o primário no momento da falha, tanto a federation como o shovel vão desiludi-lo, e a desilusão vai chegar no pior momento possível.
Então, a federation do RabbitMQ é adequada para recuperação de desastres? Sim, para um tipo específico de DR: aquele em que aceita uma janela limitada de perda ou duplicação de mensagens em trânsito, desenha os consumidores para tolerarem replay e usa o plugin para manter uma segunda região aquecida com o tráfego de que precisa. O mesmo se aplica ao shovel. Este artigo explica o que cada plugin faz realmente no RabbitMQ 3.13 e 4.x, onde a sua semântica difere de formas que importam para a recuperação, e como os combinamos num desenho de duas regiões que sobrevive a uma falha regional sem inventar mensagens nem as perder silenciosamente.
Uma nota sobre o âmbito. O dimensionamento dos clusters, o número de nós e a distribuição por várias zonas de disponibilidade dentro de uma região estão cobertos no nosso guia de HA e dimensionamento de clusters RabbitMQ, e não vamos repetir esse material aqui.
Como funciona a federation: exchanges, filas, upstreams e hops
A federation é um modelo pull. Um cluster downstream declara um upstream, abre uma ligação AMQP para ele e pede mensagens. A ligação pertence ao downstream, e é por isso que é esse o lado que se configura, embora ativemos o plugin nos dois lados para que os papéis possam ser invertidos.
Existem duas variantes. A federation de exchanges faz com que uma exchange no downstream receba as mensagens publicadas numa exchange com o mesmo nome no upstream. Internamente, o downstream cria uma fila interna no upstream, associa-a com os mesmos bindings que existem na exchange do downstream e consome dela. Só as mensagens que correspondem a um binding do downstream atravessam a ligação, pelo que um downstream sem bindings não puxa nada. A federation de filas faz com que uma fila do downstream puxe mensagens de uma fila com o mesmo nome no upstream, mas apenas quando a fila do downstream tem consumidores e a fila do upstream tem mensagens prontas. Distribui a carga entre sites em vez de copiar: uma mensagem que passa para o downstream desaparece da fila do upstream.
O parâmetro max-hops na definição do upstream controla até onde uma mensagem se propaga numa cadeia de exchanges federadas. O valor por omissão é 1: uma mensagem atravessa uma ligação e para. A federation acrescenta um cabeçalho x-received-from em cada hop e não reencaminha uma mensagem para um upstream por onde já passou, e é isso que evita ciclos numa configuração bidirecional. Deixe o max-hops em 1, a menos que esteja deliberadamente a construir uma malha.
Quando o upstream está inacessível, o downstream continua a servir os produtores e consumidores locais. A ligação tenta de novo a cada reconnect-delay segundos, cinco por omissão, até o upstream regressar. As mensagens publicadas no upstream durante a falha acumulam-se na fila interna do lado do upstream, limitada apenas pelos message-ttl e expires que definir na definição do upstream, e são escoadas quando a ligação regressa. É a propriedade mais útil da federation para DR e também a sua armadilha mais comum, porque uma fila do upstream sem limite durante uma falha prolongada pode levar o upstream a um alarme de disco.
A ordem é preservada numa ligação saudável, porque a fila interna é FIFO com um único consumidor. Não é garantida através de uma religação, e o ack-mode por omissão, on-confirm, pode reentregar mensagens que estavam em trânsito quando a ligação caiu. A federation dá-lhe entrega at-least-once através da ligação, nunca exactly-once. E, para o dizer com clareza: a federation não é replicação nem espelho. Uma exchange federada no standby não sabe nada sobre as mensagens que estão por consumir nas filas do primário.
# On the downstream (standby) cluster
rabbitmqctl set_parameter federation-upstream east \
'{"uri":["amqps://fed:REDACTED@east-a.example.internal:5671","amqps://fed:REDACTED@east-b.example.internal:5671"],"max-hops":1,"ack-mode":"on-confirm","message-ttl":3600000,"expires":86400000,"reconnect-delay":5}'
rabbitmqctl set_policy --apply-to exchanges federate-events "^events\." \
'{"federation-upstream-set":"all"}'A URI é uma lista de propósito. Se o primeiro nó do upstream estiver em baixo, a ligação tenta o seguinte, que é exatamente o que uma ligação de DR deve fazer.
Como funciona o Shovel: shovels estáticos, dinâmicos e ack modes
Um shovel é um consumidor e um produtor colados um ao outro dentro do broker. Consome de uma fila de origem, publica numa exchange ou fila de destino e confirma na origem de acordo com o seu ack-mode. As mensagens saem da origem. É essa a diferença fundamental em relação à federation de exchanges: um shovel move, a federation copia em função dos bindings.
Os shovels estáticos vivem no advanced.config e exigem o reinício de um nó para serem alterados, por isso servem para canalização fixa. Os dynamic shovels são parâmetros de runtime, criados com rabbitmqctl set_parameter shovel ou com a API de gestão, e podem ser adicionados, alterados e eliminados em funcionamento. Para DR usamos quase exclusivamente dynamic shovels, porque o failover e o failback são precisamente os momentos em que precisa de reconfigurar sem reiniciar um nó. Um dynamic shovel corre num nó; se esse nó falhar, o shovel reinicia noutro.
O ack-mode decide o que um shovel pode perder. Com on-confirm, o valor por omissão, o shovel só confirma a mensagem na origem depois de o destino a confirmar, por isso uma falha entre a publicação e a confirmação pode produzir um duplicado, mas nunca uma perda. Com on-publish, o shovel confirma assim que a mensagem é escrita na ligação de destino, antes da confirmação, pelo que uma falha do destino no instante errado a faz perder. Com no-ack, o shovel usa confirmação automática na origem e perde tudo o que estiver no seu buffer de prefetch quando algo falha. Para o tráfego de DR há uma única resposta correta, e é on-confirm.
O comportamento de religação é igual ao da federation: quando perde qualquer um dos extremos, o shovel espera reconnect-delay segundos e tenta de novo indefinidamente, a menos que src-delete-after lhe diga para parar quando uma fila ficar vazia. Essa opção é útil em migrações pontuais e no failback, quando quer que um shovel esvazie uma fila e se remova a si próprio.
Os shovels combinam-se em topologias fan-in e fan-out. O fan-in são vários shovels, um por cluster de origem, a publicar numa única exchange de destino; usamo-lo para trazer eventos regionais de auditoria ou de faturação para um cluster central. O fan-out são vários shovels a partir de um cluster, cada um a ler a sua própria fila de origem associada à mesma exchange e a entregar num destino diferente. Um único shovel não consegue fazer fan-out, porque consome cada mensagem uma só vez.
rabbitmqctl set_parameter shovel orders-dr-to-west \
'{"src-protocol":"amqp091","src-uri":"amqps://shovel:REDACTED@east-lb.example.internal:5671","src-queue":"orders.work.dr","src-prefetch-count":500,"dest-protocol":"amqp091","dest-uri":"amqps://shovel:REDACTED@west-lb.example.internal:5671","dest-queue":"orders.work.standby","ack-mode":"on-confirm","reconnect-delay":5}'O que nenhum dos plugins lhe dá: replicação síncrona
Dentro de um único cluster, as filas de quórum (quorum queues) replicam cada mensagem para a maioria dos seus membros usando Raft antes de confirmarem ao produtor. Uma mensagem confirmada sobrevive à perda de uma minoria dos nós sem lacunas e sem replay. Isso é replicação síncrona, e é por isso que as filas de quórum são a opção por omissão para cargas de trabalho duráveis dentro de uma região.
Nem a federation nem o shovel fazem nada de parecido. Ambos são consumidores assíncronos a funcionar atrás do caminho de confirmação do primário. O produtor recebe a confirmação quando a fila de quórum do primário faz commit; o standby recebe a mensagem algum tempo depois, quando a ligação a consome, a envia pela WAN e o standby a confirma. Esse intervalo é a sua exposição. Numa ligação saudável costuma ser de dezenas de milissegundos, mas nunca é zero e, durante uma falha da ligação, cresce até a ligação recuperar.
A distribuição comercial Tanzu RabbitMQ da Broadcom inclui uma funcionalidade de replicação warm standby que replica o schema e os dados das mensagens de um cluster ativo para um passivo, como capacidade do produto e com o seu próprio modelo operacional. Existe, é uma resposta legítima para algumas organizações e não faz parte da distribuição open source. Não vamos repetir aqui os seus detalhes, porque pertencem à documentação do fabricante, mas se uma funcionalidade de replicação entre clusters com suporte total é o que a sua postura de conformidade exige, é essa a conversa a ter e, enquanto parceiro MSP estratégico da Broadcom para o RabbitMQ, é uma conversa que temos com regularidade.
Para todos os outros, o enquadramento honesto é este: o DR do RabbitMQ entre regiões é assíncrono, e o trabalho de desenho consiste em limitar a exposição e tornar a aplicação indiferente a ela.
Tabela de decisão: escolher entre federation e shovel
Raramente a escolha é uma ou outra para todo o ambiente. Faz-se exchange a exchange e fila a fila, em função do que as mensagens significam e do que os consumidores conseguem tolerar.
| Critério | Favorece a federation de exchanges | Favorece o shovel |
|---|---|---|
| RPO esperado | Segundos, limitado pelo atraso da ligação; a fila do upstream faz de buffer durante a falha | Segundos; a fila de origem faz de buffer durante a falha |
| RTO esperado | Baixo; o standby já tem bindings e tráfego real | Baixo a moderado; é preciso arrancar os consumidores das filas de standby |
| Active-active | Sim, ligações bidirecionais com max-hops 1 | Pouco prático; exige uma disciplina rigorosa de um só sentido por fila |
| Active-passive | Sim, num só sentido, invertido no failback | Sim, é o seu caso natural |
| Consumidores nos dois sites | Obrigatórios; cada site consome a sua própria cópia | Normalmente um site consome e o outro mantém um buffer |
| Ordem das mensagens | FIFO por ligação numa ligação saudável; não através de religações | FIFO por shovel numa ligação saudável; não através de religações |
| Duplicados | Possíveis na religação com on-confirm | Possíveis na religação com on-confirm |
| Trabalho que tem de ser executado uma só vez | Pouco adequado; cada site recebe uma cópia | Adequado; a mensagem é movida e um só site a processa |
| Difusão de eventos para muitos sites | Excelente opção | Pouco adequado; um shovel por destino e por fila |
| WAN com latência elevada ou perda de pacotes | Tolerante; modelo pull, novas tentativas automáticas, ajuste do prefetch-count | Tolerante; mesmo modelo de novas tentativas, ajuste do src-prefetch-count |
| Alterações de topologia | Segue os bindings automaticamente | Explícito por fila, tem de ser mantido |
Leia a tabela como um conjunto de opções por omissão. Os eventos a que muitos serviços estão subscritos, em que todas as regiões devem ver todos os eventos, pertencem a exchanges federadas. Os comandos e os jobs, em que exatamente um worker deve atuar, pertencem a filas processadas localmente ou movidas deliberadamente por um shovel para um único destino.
Como desenhamos um RabbitMQ multirregião: um layout de referência com duas regiões
Os clientes perguntam "como se desenha um RabbitMQ multirregião?" à espera de um único diagrama. A resposta honesta são duas camadas sobre o mesmo par de clusters, uma para eventos e outra para trabalho.
Considere duas regiões, East como primária e West como standby, cada uma com o seu próprio cluster de três nós e filas de quórum para tudo o que é durável. Os dois clusters têm definições idênticas: exchanges, filas, bindings, políticas e utilizadores, exportados de East e aplicados em West pelo pipeline de implementação, para que seja impossível haver divergências. Se o layout base de exchanges e bindings ainda estiver a ser definido, o nosso artigo sobre exchanges, filas e bindings para microsserviços trata desse tema, e o guia de arquitetura RabbitMQ em produção mostra onde isto se encaixa no quadro geral.
A camada de eventos usa federation de exchanges nos dois sentidos. Todas as topic exchanges com o nome events.* são federadas, West como downstream de East e East como downstream de West, com max-hops definido como 1. Os serviços subscritores de eventos correm nas duas regiões e consomem de filas locais associadas à exchange federada local. Em funcionamento normal, East publica quase tudo, West recebe cópias e os seus subscritores processam-nas (read models, caches, índices de pesquisa), e a ligação inversa fica inativa. Como são os bindings que determinam o que atravessa a ligação, um subscritor que só existe em East não arrasta o seu tráfego para West.
A camada de trabalho é onde os shovels justificam o seu lugar. Cada fila de comandos em East, por exemplo orders.work, é alimentada por um binding a partir de uma exchange orders.cmd. Um segundo binding encaminha as mesmas mensagens para orders.work.dr, uma fila de quórum com um message-ttl ajustado ao tempo máximo que uma encomenda pode legitimamente ficar por processar em East, tipicamente quinze a trinta minutos. Um dynamic shovel com on-confirm move continuamente orders.work.dr para orders.work.standby em West, que tem o mesmo TTL. Em funcionamento normal, nada consome orders.work.standby; as mensagens chegam, expiram e desaparecem. A fila é uma janela deslizante do trabalho recente, e não um espelho do backlog do primário.
Em funcionamento normal, os consumidores de comandos só correm em East. West tem a implementação pronta, mas escalada para zero no caso dos consumidores de comandos e em execução no caso dos subscritores de eventos. Os produtores ligam-se através de um nome DNS ou de uma entrada de load balancer global que resolve para East.
# Applied on both clusters via the definitions pipeline
rabbitmqctl set_policy --apply-to queues dr-window "^orders\.work\.(dr|standby)$" \
'{"message-ttl":1800000}'Sobreviver a uma falha regional: failover e failback sem duplicados nem ciclos
"Como devem as mensagens sobreviver a falhas regionais?" divide-se em três momentos: a falha, a decisão de failover e o failback.
Durante a falha, os plugins não precisam de atenção. A ligação de federation de West para East falha e tenta de novo a cada cinco segundos. O shovel de East não consegue ligar-se e tenta de novo. Os subscritores de eventos de West continuam a trabalhar sobre tudo o que já foi entregue. As mensagens publicadas em East nos segundos anteriores à falha que ainda não tinham atravessado a ligação ficam lá presas até East regressar; esse é o RPO, e a camada aplicacional tem de o assumir através de outboxes do lado do produtor ou de replay a partir do sistema de registo.
O failover é uma ação deliberada, não automática. Já vimos um failover automático entre regiões, desencadeado por uma falha momentânea na monitorização, criar um split-brain de consumidores que levou um fim de semana a reconciliar. O runbook é curto: confirmar através de sondas independentes que East está mesmo indisponível; redirecionar a entrada DNS ou de load balancer dos produtores para West; escalar os consumidores de comandos de West a partir de zero; confirmar que estão a escoar orders.work.standby. Tudo o que estiver nessa fila com idade inferior ao TTL é processado, o que significa que o trabalho que East já tinha concluído na última janela é processado de novo. É intencional. Cada consumidor de comandos usa uma chave de idempotência, e o TTL limita a quantidade de trabalho duplicado que o standby alguma vez pode ver.
West é agora o primário. O que importa é o seu tráfego events.*, e a ligação de federation com East como downstream vai escoá-lo para East quando East regressar. Os comandos em West chegam a orders.work e são processados localmente, com uma cópia encaminhada para orders.work.dr em West, pronta para o shovel inverso.
O failback é onde se criam duplicados e ciclos quando se tem pressa. A sequência que usamos: levantar East sem nenhum produtor apontado para ele e com os consumidores de comandos a zero; deixar a ligação de federation de West para East escoar o backlog de eventos; criar um shovel inverso, em on-confirm, de orders.work.dr em West para orders.work.standby em East; depois, num período calmo, redirecionar os produtores para East, escalar os consumidores de East, reduzir os de West e remover o shovel inverso com src-delete-after definido como queue-length, para que termine quando a fila ficar vazia. Em momento algum há dois shovels a mover a mesma fila em sentidos opostos, e em momento algum há consumidores de comandos a correr nas duas regiões sobre a mesma fila lógica.
Na camada de eventos não se podem formar ciclos, porque o max-hops igual a 1 e o cabeçalho x-received-from impedem que uma mensagem que já atravessou uma ligação volte para trás. Na camada de trabalho só se podem formar ciclos se alguém mover mensagens com um shovel para uma exchange cujos bindings alimentam a própria fila de origem do shovel. A regra: use shovels para filas de destino nomeadas, nunca para a exchange que alimentou a origem.
Simulações de falha a executar antes de entrar em produção
Um desenho de DR que nunca foi exercitado é uma hipótese. Executamos estas simulações com os clientes antes da primeira passagem a produção e de novo a cada trimestre.
Bloqueie na firewall a porta WAN entre os clusters durante trinta minutos e observe o crescimento da fila de federation do lado do upstream e de orders.work.dr. Confirme que os message-ttl e expires que definiu limitam de facto esse crescimento e que nenhum dos clusters se aproxima do limiar do alarme de disco. Reponha a ligação e meça quanto tempo o backlog demora a escoar com as suas definições reais de prefetch.
Publique um número conhecido de mensagens numeradas com a ligação em baixo, reponha-a e conte o que chegou. É esta a simulação que descobre os shovels em no-ack e as ligações em on-publish que alguém configurou "por causa do desempenho".
Reinicie, separadamente, o nó que detém a ligação de federation e o nó que detém o shovel, e confirme que ambos se restabelecem noutro nó. Verifique rabbitmqctl federation_status e rabbitmqctl shovel_status depois de cada reinício, em vez de dar uma vista de olhos à interface de gestão.
Provoque um alarme de memória no standby enchendo deliberadamente uma fila. Uma ligação de federation publica no downstream, por isso um alarme no downstream bloqueia a ligação exatamente como bloqueia qualquer outro produtor, e a fila do upstream começa a crescer. Confirme que os seus alertas detetam a ligação bloqueada, e não apenas o alarme.
Execute o runbook de failover completo contra o standby com consumidores reais e tráfego sintético e, depois, o failback completo. Conte os duplicados processados em cada fase e confirme que a camada de idempotência os descartou a todos. Cronometre os dois procedimentos e registe os números no runbook, porque são esses os seus valores reais de RTO.
Faça a rotação das credenciais nas URIs do upstream e do shovel e confirme que as ligações se restabelecem. Credenciais de federation expiradas descobertas durante uma falha real é um modo de falha que já vimos mais do que uma vez.
Erros que vemos em produção
O erro mais comum é tratar a federation como replicação e descobrir, a meio de um incidente, que o standby não tem nada do backlog por consumir do primário. A correção é arquitetural: o trabalho que tem de sobreviver precisa do padrão de fila de buffer de DR com shovel, ou de um outbox ao nível da aplicação.
Logo a seguir vem uma definição de upstream sem message-ttl e sem expires. A fila interna de federation no upstream é durável e cresce durante uma falha prolongada da ligação até o upstream atingir um alarme de disco e deixar de aceitar publicações de todos, transformando um problema do standby numa falha do primário.
Shovels configurados em no-ack ou on-publish porque um benchmark mostrou um débito mais elevado. O débito é real, e a perda também. Se um shovel precisa de ser mais rápido, aumente o src-prefetch-count e mantenha on-confirm.
Shovels bidirecionais na mesma fila, normalmente criados durante um failback apressado e nunca removidos. Passam as mesmas mensagens de um lado para o outro até alguém reparar nos contadores.
Um único hostname na URI do upstream. Quando esse nó é precisamente o que falhou, a ligação do standby não tem para onde ir, mesmo que o resto do cluster primário esteja saudável. Indique uma lista de URIs ou o endereço de um load balancer que faça health checks aos nós.
Definições que divergem entre regiões. Uma fila que existe em East, mas não em West, deixa o shovel num ciclo de novas tentativas ou, pior, a publicar numa exchange sem bindings, onde as mensagens são descartadas. Exporte as definições do primário e aplique-as no standby no mesmo pipeline que implementa a aplicação.
Nenhuma monitorização do estado das ligações. Ninguém está a olhar para a interface de gestão às três da manhã. Exporte federation_status e shovel_status para o seu pipeline de métricas e crie alertas para qualquer ligação que não esteja em running durante mais tempo do que o atraso de religação.
Por fim, TTL de DNS e pools de ligações que mantêm os produtores presos à região que falhou muito depois de o registo ter mudado. As bibliotecas cliente religam-se ao endereço que resolveram no arranque, salvo indicação em contrário, por isso o runbook de failover tem de incluir um reinício dos clientes, ou os clientes têm de estar configurados com os endpoints das duas regiões.
Próximos passos
Este artigo ficou deliberadamente pelo que circula entre clusters. A dimensão de cada cluster, a distribuição dos nós por zonas de disponibilidade e as definições a usar nas filas de quórum são tratadas no nosso guia de HA, DR e dimensionamento de clusters RabbitMQ. A topologia de mensagens sobre a qual assentam as camadas de federation e shovel está descrita em exchanges, filas e bindings para microsserviços, e o desenho completo de uma implementação empresarial está no guia de arquitetura RabbitMQ em produção.
Se corre o RabbitMQ 3.8.x a 4.x em produção e quer uma segunda região que já tenha passado de facto por um failover e um failback, em vez de existir apenas num quadro branco, o suporte RabbitMQ da AceMQ dá-lhe objetivos de resposta a partir de 15 minutos, consoante o plano, por parte de engenheiros que já o fizeram, e os nossos projetos de consultoria RabbitMQ desenham, constroem e testam a configuração com a sua equipa antes de ela ter de funcionar a sério.
Para perceber onde esta decisão se insere no desenho completo — separar HA de DR, cópia de segurança das definições, objetivos de recuperação e o teste de failover —, consulte o guia de recuperação de desastres do RabbitMQ.
Perguntas frequentes
Federation ou shovel no RabbitMQ: qual usar para DR?
Use a federation de exchanges para o tráfego de eventos que todas as regiões devem ver, porque segue os bindings automaticamente, tolera falhas da ligação com um buffer do lado do upstream e suporta ligações bidirecionais em segurança com max-hops definido como 1. Use dynamic shovels com on-confirm para as filas de trabalho em que exatamente uma região deve processar cada mensagem, porque um shovel move as mensagens para um destino nomeado em vez de as copiar. A maioria dos desenhos de DR em produção usa ambos: federation para a camada de eventos e shovels para um buffer de DR com os comandos recentes, em janela deslizante. Nenhum dos dois é replicação, por isso combine-os com consumidores idempotentes e um outbox do lado do produtor.
A federation do RabbitMQ é adequada para recuperação de desastres?
É adequada para desenhos de DR que aceitam entrega assíncrona e uma janela limitada de perda ou duplicação. A federation mantém uma região de standby continuamente alimentada com os eventos para os quais tem bindings, acumula as mensagens do lado do upstream durante uma falha da ligação e restabelece as ligações automaticamente. Não copia os backlogs de mensagens por consumir nas filas, não replica de forma síncrona e não funciona como espelho. Se o seu requisito é que o standby contenha exatamente o que o primário continha no instante da falha, a federation open source não o consegue cumprir e deve considerar a funcionalidade comercial de replicação warm standby ou um outbox ao nível da aplicação.
Como se desenha um RabbitMQ multirregião?
Execute um cluster independente por região, com definições idênticas implementadas a partir de um único pipeline. Faça a federation das exchanges de eventos nos dois sentidos com max-hops igual a 1, para que os subscritores de cada região consumam cópias locais. Para as filas de trabalho, acrescente no primário uma fila de cópia para DR com um TTL de mensagem igual à janela de reprocessamento aceitável e mova-a com um shovel em on-confirm para uma fila de standby que ninguém consome até ao failover. Mantenha os consumidores de comandos numa só região de cada vez, encaminhe os produtores através de uma entrada de DNS ou de load balancer comutável e faça do failover um passo deliberado do runbook, e não um gatilho automático.
Como devem as mensagens sobreviver a falhas regionais?
As mensagens sobrevivem porque ficam em buffer do lado da ligação interrompida em que se encontram e são entregues quando a ligação regressa. A federation acumula-as numa fila do lado do upstream limitada por message-ttl e expires; um shovel acumula-as na sua fila de origem. As mensagens confirmadas pelo primário no instante anterior à falha, mas ainda não enviadas, constituem o RPO residual, e só um outbox do lado do produtor ou um replay a partir do sistema de registo fecha essa lacuna. Os consumidores têm de ser idempotentes, porque ambos os plugins entregam pelo menos uma vez após uma religação e o failover reprocessa deliberadamente a janela de DR.
O ack mode do shovel importa mesmo para a recuperação de desastres?
É a definição que decide se um shovel pode perder mensagens. Com on-confirm, a mensagem de origem só é confirmada depois de o destino a confirmar, por isso uma falha produz, no pior dos casos, um duplicado. Com on-publish, a confirmação na origem acontece antes da confirmação do destino, pelo que uma falha do destino nesse instante faz perder a mensagem. Com no-ack, tudo o que está no buffer de prefetch do shovel perde-se em qualquer falha. O tráfego de DR deve usar sempre on-confirm; se o débito for uma preocupação, aumente o prefetch count da origem em vez de enfraquecer o modo de confirmação.
O RabbitMQ consegue replicar uma fila de forma síncrona para outra região?
Não com os plugins open source de federation ou shovel, que são consumidores assíncronos a funcionar atrás do caminho de confirmação do primário. No RabbitMQ, a replicação síncrona é uma propriedade das filas de quórum dentro de um cluster, que fazem commit numa maioria dos membros antes de confirmar. Estender um único cluster por várias regiões para obter esse comportamento não é suportado e tem mau desempenho com a latência de uma WAN. A distribuição comercial Tanzu RabbitMQ oferece uma funcionalidade de replicação warm standby entre clusters; para tudo o resto, trate o DR entre regiões como assíncrono e desenhe a aplicação para tolerar a janela resultante.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guias, comparações e estudos


