BlogueRabbitMQ

Filas de quórum do RabbitMQ: como funcionam e quando a fila clássica ainda ganha

Scott Sternloff

Por Scott Sternloff, Arquiteto empresarial sénior

LinkedIn · Atualizado a · 14 min de leitura

Filas de quórum do RabbitMQ: como funcionam e quando a fila clássica ainda ganha
On this page

A resposta curta: use filas de quórum (quorum queues) por predefinição e reserve as filas clássicas para trabalho genuinamente transitório e de grande rotatividade, em que perder uma mensagem na falha de um nó é aceitável. Esta tem sido a recomendação certa há algum tempo, mas o raciocínio importa mais do que a regra — porque são as duas exceções e o custo da migração que realmente apanham as equipas.

Esta pergunta surge constantemente em avaliações de RabbitMQ, normalmente numa de duas formas: um operador que herdou um cluster cheio de filas clássicas e quer saber se a conversão compensa a perturbação, ou uma equipa a desenhar algo novo que precisa de uma predefinição defensável.

Os três tipos de fila, comparados naquilo que importa

O RabbitMQ tem três mecanismos de armazenamento que vale a pena conhecer, e o terceiro nem sequer é uma fila — e é precisamente por isso que é mal utilizado.

Matriz comparativa entre fila clássica, fila de quórum e stream do RabbitMQ quanto a armazenamento, comportamento de leitura, replicação, resistência a falhas de energia e o ponto forte de cada uma

A linha que decide a maioria dos designs é Sobrevive a uma falha de energia. Uma fila de quórum replica e grava cada mensagem em disco num quórum de nós antes de confirmar ao publisher. Uma fila clássica persiste localmente, mas não tem replicação, pelo que a falha de um nó leva consigo a fila. Um stream replica, mas não faz fsync antes de confirmar, o que significa que tem a mesma exposição que o Kafka — aceitável para telemetria, errado para pagamentos.

A linha que costuma ser mal interpretada é Leituras. As filas clássicas e de quórum são destrutivas: um consumer retira a mensagem e ela desaparece. Os streams são não destrutivos: a mensagem fica, e muitos consumers podem ler o mesmo histórico de forma independente, cada um no seu offset. Se der por si a querer reler mensagens de uma fila, o que quer na verdade é um stream.

Porque é que uma fila de quórum se pode dar ao luxo de fazer fsync

A objeção habitual às filas de quórum é que gravar em disco a cada mensagem só pode ser lento. Não é, e o motivo é uma decisão de design que vale a pena compreender, porque é também a diferença técnica mais marcada entre o RabbitMQ e o Kafka.

Diagrama de um publisher a escrever na réplica líder de uma fila de quórum, que acrescenta a um write-ahead log partilhado por várias filas, replicado para duas réplicas seguidoras, contrastando o fsync amortizado do RabbitMQ com o fsync por partição do Kafka

As filas de quórum partilham um write-ahead log. Uma única gravação em disco cobre mensagens destinadas a muitas filas diferentes, pelo que o custo é amortizado por todo o broker em vez de ser pago separadamente por cada fila. É isso que torna viável ter muitas filas, replicação com fsync e débito real ao mesmo tempo — três propriedades entre as quais normalmente se teria de escolher apenas duas.

O Kafka funciona ao contrário: o fsync é feito por partição, o que o torna caro ao ponto de o Kafka o desaconselhar por predefinição e confiar apenas na replicação. Não é tanto um defeito como uma aposta diferente, mas significa que uma mensagem do Kafka com acknowledgement está na page cache de vários brokers, e não em disco.

Há um segundo benefício, mais subtil. O Raft numa fila de quórum cobre o estado de entrega, e não apenas o conteúdo das mensagens — que mensagem está atribuída a que consumer e quantos créditos esse consumer tem. Depois de um failover do líder, o novo líder retoma com esse estado intacto, em vez de reentregar um lote inteiro. É esse mecanismo que torna possíveis o TTL por mensagem, as prioridades, os atrasos e o encaminhamento de dead-letter.

Como as filas de quórum garantem durabilidade e failover

O mecanismo de amortização do fsync descrito acima explica porque é que as filas de quórum são suficientemente rápidas para serem usadas por predefinição. Não explica como sobrevivem efetivamente à morte de um nó a meio do fluxo, que é a parte que vale a pena compreender antes de confiar nelas em produção.

Uma fila de quórum é um grupo Raft: um número ímpar de membros, um por nó, com um membro eleito líder em cada momento. O líder aceita todas as publicações e entregas a consumers; os seguidores replicam o log do líder e votam nas eleições. Quando o líder deixa de dar sinal, seja porque o nó falhou ou porque a rede o isolou, os seguidores apercebem-se pela falta de heartbeat, aguardam um timeout de eleição aleatório para que dois seguidores não convoquem uma eleição no mesmo instante, e o primeiro a obter a maioria dos votos torna-se o novo líder num novo mandato. Sem intervenção do operador e sem indisponibilidade visível para o cliente para além da religação.

O que um publisher confirm significa realmente: o RabbitMQ só devolve o confirm depois de a mensagem ter sido escrita na maioria dos membros do grupo, e não apenas no líder. Numa fila com três membros, são dois de três. A escrita é durável a partir desse momento, mesmo que o nó com a terceira réplica nunca volte; perdê-lo custa uma réplica, não a mensagem.

Esse requisito de maioria é também o que define a disponibilidade para cada número de falhas. Com três membros: perdendo um, os dois restantes continuam a formar maioria, pelo que a fila continua a aceitar escritas e funciona simplesmente com menos uma réplica até o nó em falta regressar e recuperar o atraso a partir do log Raft. Perdendo dois, o único nó sobrevivente não consegue formar maioria sozinho, pelo que a fila deixa totalmente de aceitar escritas, por design, em vez de arriscar que um membro com um log incompleto se torne fonte de verdade sem contraditório. É a mesma lógica de pause_minority ao nível do cluster, aplicada a cada fila.

É também por isso que um número par de membros é pior do que parece, e não apenas desnecessário. Uma fila com quatro membros continua a tolerar a perda de apenas um membro antes de ficar com dois sobreviventes em quatro, o que não é maioria: acrescentou-se uma réplica inteira, com o respetivo overhead de Raft e custo de memória, para exatamente a mesma tolerância a falhas que com três. Por esse motivo, o número de membros deve ser sempre ímpar. A colocação das réplicas segue a mesma lógica da colocação dos nós do cluster: um membro por nó, distribuídos por hosts ou zonas de disponibilidade separados, para que uma única falha de infraestrutura não possa derrubar dois membros da mesma fila em simultâneo.

Um exemplo prático: filas de quórum para processamento de pagamentos

O processamento de pagamentos é a carga de trabalho para a qual foi pensado o modelo de durabilidade descrito acima: cada mensagem conta, a ordem conta dentro de uma conta, e a duplicação silenciosa é pior do que um retry lento. Eis como as peças se encaixam neste caso concreto.

  • Topologia. Uma fila de quórum com três membros, um nó por zona de disponibilidade, cumpre o requisito de durabilidade e resiste à falha de uma zona inteira sem qualquer tratamento especial. É o mesmo padrão de três AZ descrito no nosso guia de HA, recuperação de desastres e dimensionamento de clusters; uma carga de pagamentos é precisamente o caso que justifica não reduzir para uma única AZ só para poupar um nó.
  • Publisher confirms, e não fire-and-forget. O serviço que inicia um pagamento aguarda o publish confirm do broker antes de comunicar a quem o chamou que o pagamento foi aceite. Dada a garantia de escrita em maioria descrita acima, esse confirm significa que a instrução de pagamento está durável em pelo menos dois de três nós antes de qualquer sistema a jusante ser informado.
  • Retries limitados com dead letter. Defina x-delivery-limit na fila para que uma mensagem que continua a falhar no processamento do consumer não fique em ciclo para sempre. Quando esgotar as tentativas de entrega, encaminhe-a para uma dead-letter queue dedicada em vez de a descartar. Uma DLQ de pagamentos deve ser tratada como uma condição de alerta, não como um caixote do lixo: tudo o que lá cai tem de ser analisado por uma pessoa ou por um job automático de reconciliação, porque representa um pagamento que não foi concluído corretamente nas primeiras tentativas.
  • Consumers idempotentes com chave no ID do pagamento. As filas de quórum, tal como as clássicas, oferecem entrega at-least-once. Com o delivery limit e a DLX acima, um consumer pode receber a mesma mensagem de pagamento mais do que uma vez. Desenhe o consumer para verificar (ou fazer upsert contra) um ID de pagamento já registado como processado antes de voltar a aplicar a transação, para que uma reentrega não tenha qualquer efeito em vez de gerar uma cobrança ou um lançamento contabilístico duplicados.
  • Single active consumer para liquidação ordenada. Quando a ordem de liquidação importa dentro de uma conta, por exemplo ao aplicar débitos e créditos em sequência, defina x-single-active-consumer na fila para que apenas uma instância de consumer a processe de cada vez, com failover automático para um consumer de reserva se o ativo morrer. Troca-se algum débito por ordenação estrita por fila, o que costuma ser a troca certa quando há dinheiro em movimento.
  • O que monitorizar. A profundidade da fila e o lag dos consumers na própria fila de pagamentos, a profundidade da DLQ (deve manter-se perto de zero e qualquer crescimento sustentado é um incidente), o número de reentregas por consumer (uma tendência crescente aponta para um bug no consumer, não para a saúde do broker) e o estado de sincronização das réplicas nos três membros, para que uma réplica atrasada seja detetada antes de ser a única que resta. Para padrões que vão além desta fila, veja como as mesmas garantias de durabilidade se combinam num design orientado a eventos mais amplo em exchanges, filas e bindings para microsserviços e, para a visão completa de como a AceMQ define o âmbito de um design de mensagens à altura de um sistema de pagamentos, veja resiliência e otimização de pagamentos.

O que se perde ao converter

A maioria das recomendações fica-se por "use filas de quórum". A parte útil são as duas coisas que realmente apanham as pessoas desprevenidas.

  • A memória por fila é maior. Uma fila de quórum transporta estado Raft e ocupa mais memória do que uma fila clássica. Se o seu design tem milhares de filas pequenas e de curta duração — um padrão comum por sessão ou por pedido —, convertê-las todas de uma vez pode levar o cluster a uma pressão de memória que não existia antes. É a forma mais comum de uma migração bem-intencionada provocar um incidente.
  • A prioridade não funciona da mesma forma. As filas clássicas implementam a prioridade através de x-max-priority. As filas de quórum tratam a prioridade de outra maneira e não oferecem um mecanismo idêntico, pelo que uma fila cujo comportamento dependa da semântica de prioridade das clássicas tem de ver o seu design revisto, e não apenas ser declarada de novo. Identifique estas filas antes de planear a migração, e não durante.

Há também um limite rígido que convém conhecer: uma fila de quórum não tem sharding. Atinge um máximo de cerca de 80.000 mensagens por segundo com replicação e fsync, e não é possível dividir uma fila por vários nós para ir mais depressa. O débito agregado de muitas filas escala bem, mas um único fluxo muito intenso precisa de sharding ao nível da aplicação — publicar em N filas com uma routing key que distribua a carga. Abordamos essa limitação, e a forma como se compara com o particionamento do Kafka, em RabbitMQ vs. Kafka.

Como escolher, e quanto custa realmente uma conversão

Quatro perguntas resolvem a questão para uma determinada fila.

Fluxograma de decisão com quatro perguntas sobre tolerância à perda de mensagens, funcionalidades por mensagem, taxa de rotatividade e necessidade de replay, que conduzem a fila de quórum, fila clássica ou stream, com o aviso de que a conversão não é feita in-place

O aviso nesse fluxograma é a realidade operacional: o tipo de fila fica fixado na declaração. Não existe conversão in-place. Migrar significa declarar uma nova fila de quórum, apontar publishers e consumers para ela, esvaziar a fila clássica e removê-la quando estiver vazia. Num sistema em produção, é uma alteração coordenada com uma janela de drenagem, não uma edição de configuração.

A sequência que funciona: converta primeiro as filas que transportam trabalho que não se pode perder, em pequenos lotes, vigiando a memória pelo caminho. Mantenha como clássicas as filas genuinamente transitórias. Resista à tentação de converter tudo de uma vez — é precisamente essa alteração que transforma uma melhoria de segurança numa indisponibilidade.

Se está a ponderar uma conversão num ambiente de grande dimensão e quer que as armadilhas de memória e de prioridade sejam identificadas antes de começar, e não durante, isso faz parte normal de um health check de RabbitMQ — ou fale com a AceMQ para definir o âmbito.

Várias das convicções por detrás destas escolhas já não se verificam — mitos e realidade do RabbitMQ.

O tipo de fila é a segunda de sete decisões do guia de clustering e dimensionamento do RabbitMQ; a escolha errada é também o padrão quatro de dez no guia de fiabilidade.

Perguntas frequentes

Qual é a diferença entre uma fila clássica e uma fila de quórum?

Uma fila clássica reside num único nó, com persistência por mensagem; se esse nó falhar, a fila e o seu conteúdo ficam indisponíveis até ele regressar. Uma fila de quórum é replicada num número ímpar de nós através de consenso Raft e grava cada mensagem em disco num quórum de réplicas antes de confirmar ao publisher. A clássica é local e rápida para cargas de grande rotatividade; a de quórum é replicada e segura, e é a predefinição recomendada para tudo o que não se pode dar ao luxo de perder.

As filas de quórum são mais lentas do que as filas clássicas?

Um pouco, e menos do que a maioria pensa. Uma única fila de quórum chega a cerca de 80.000 mensagens por segundo com replicação e fsync; uma fila clássica vai um pouco mais longe porque não faz nenhuma das duas coisas. As filas de quórum continuam rápidas porque partilham um write-ahead log, pelo que um único fsync cobre muitas filas e o custo é amortizado em vez de ser pago por fila.

Quando é que ainda faz sentido usar uma fila clássica?

Quando o trabalho é genuinamente transitório e de grande rotatividade e perder uma mensagem na falha de um nó é aceitável — broadcasts de invalidação de cache, notificações efémeras, trabalho temporário que será regenerado de qualquer forma. As filas clássicas também ocupam menos memória por fila, o que conta quando se executa um número muito elevado de filas pequenas e de curta duração.

É possível converter uma fila clássica numa fila de quórum sem a recriar?

Não. O tipo de fila fica fixado na declaração, pelo que converter significa declarar uma nova fila de quórum, passar os publishers e os consumers para ela, esvaziar a fila clássica e depois removê-la. Planeie-o como uma migração com uma janela de drenagem. Converter milhares de filas de uma só vez é a migração que mais vezes corre mal.

As filas de quórum suportam prioridade de mensagens?

Não da mesma forma. As filas clássicas suportam prioridade através do argumento x-max-priority; as filas de quórum tratam a prioridade de outra maneira e não oferecem um mecanismo idêntico, pelo que uma fila que dependa da semântica de prioridade das clássicas tem de ver o seu design revisto, e não simplesmente convertido. Isto e o maior consumo de memória por fila são as duas armadilhas que apanham as equipas a meio da migração.

De quantos nós precisam as filas de quórum?

De um número ímpar, sendo três a base prática — tolera a falha de um nó mantendo a maioria. Cinco é comum em implementações maiores e tolera duas falhas. Acima de cinco, o overhead de consenso cresce sem grande ganho de segurança, pelo que os clusters maiores costumam ter outra motivação que não os requisitos de quórum.

Os streams substituem as filas de quórum?

Não — resolvem um problema diferente. Um stream é um log append-only com leituras não destrutivas: consumir não remove a mensagem, e muitos consumers podem ler o mesmo histórico de forma independente. Uma fila de quórum é uma fila de trabalho com leituras destrutivas e acknowledgement por mensagem. Os streams também não fazem fsync antes de confirmar, pelo que oferecem uma garantia de durabilidade mais fraca.

As filas de quórum sobrevivem a falhas de nós?

Sim, é esse o seu principal objetivo. Uma fila de quórum replica cada mensagem para a maioria dos seus membros através de consenso Raft antes de confirmar a publicação; assim, uma fila com três membros continua a funcionar depois de perder um nó e só deixa de aceitar escritas se perder um segundo, já que deixa de ser possível chegar a dois de três. Os membros devem ficar distribuídos um por nó, em hosts ou zonas de disponibilidade separados, para que uma única falha de infraestrutura não possa remover mais do que uma réplica de cada vez.

As filas de quórum aguentam o débito do processamento de pagamentos?

Uma única fila de quórum atinge um máximo de cerca de 80.000 mensagens por segundo com replicação e fsync, muito acima do que a maioria das cargas de pagamentos precisa por fila. Se um fluxo específico precisar de mais, faça sharding por várias filas de quórum com uma routing key, em vez de esperar que uma única fila escale mais, já que as filas de quórum não têm sharding interno. Combinando publisher confirms, `x-delivery-limit`, dead-lettering e consumers idempotentes, o débito raramente é o fator limitante nos pagamentos; o que conta é a correção perante os retries.

Scott Sternloff

Autor

Scott SternloffArquiteto empresarial sénior

Arquiteto empresarial sénior na AceMQ. Escreve aqui os conteúdos técnicos: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Consulta gratuita

Obtenha uma análise especializada de cluster RabbitMQ

Quer esteja a resolver um incidente em produção, a planear uma migração ou queira uma segunda opinião sobre a sua arquitetura, a nossa equipa está pronta. Sem discursos de vendas, apenas respostas.

Enviar e-mail