BlogRedis

Redis como fila de mensagens: o Redis pode substituir um broker de verdade?

Scott Sternloff

Por Scott Sternloff, Arquiteto corporativo sênior

LinkedIn · Atualizado em · 12 min de leitura

Redis como fila de mensagens: o Redis pode substituir um broker de verdade?
On this page

Sim. Uma fila de mensagens no Redis é uma opção real, e há três formas de montar uma: Lists para distribuição simples de trabalho, Pub/Sub para broadcast fire-and-forget que não armazena nada e Streams para consumer groups com acknowledgements e entrega at-least-once. O Streams é o único que se comporta como um broker de verdade. O que você abre mão em todos os casos é roteamento, TTL por mensagem, prioridades e dead-lettering, recursos que você vai acabar escrevendo por conta própria.

A questão raramente é se o Redis consegue fazer isso. Ele consegue. A questão é o que acontece na primeira vez que algo falha.

Lists vs. Pub/Sub vs. Streams

Listas (Lists)Pub/SubStreams
PadrãoFila de trabalhoDifusão (broadcast)Log com consumer groups
Persistido no keyspaceSimNãoSim
Garantia de entregaAt-most-once por padrãoNo máximo uma vez (at-most-once)At-least-once com grupos
Confirmações (acks)Nenhum nativoNenhumXACK, com uma lista de pendentes
Grupos de consumidoresNãoNãoSim
Replay do históricoNão: o que saiu da lista se foiNãoSim, por intervalo de IDs
Vários leitores independentesNãoSim, todos recebem uma cópiaSim, por grupo
Uso típicoJobs em backgroundInvalidação de cache, notificaçõesProcessamento de eventos que exige durabilidade

Se você levar uma única coisa deste artigo: o Pub/Sub perde mensagens por design, e isso não é um bug. A própria documentação do Redis diz isso com todas as letras.

As Lists do Redis funcionam como fila de mensagens?

Sim, e esse é o padrão mais antigo de fila de mensagens no Redis, que continua sendo a resposta certa para muito processamento de jobs em background.

Um produtor faz o push com LPUSH. Um worker fica bloqueado em BRPOP, que espera por um item em vez de fazer polling. Vários workers na mesma chave competem entre si, e cada item vai para exatamente um deles. É uma fila de trabalho em dois comandos, em uma infraestrutura que você já opera.

LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0

O modo de falha é o óbvio. O BRPOP remove o item e o entrega ao worker. Se esse worker morrer no meio do processamento, o item some: nada sabe que ele estava em andamento e nada vai reentregá-lo.

A mitigação é o padrão de reliable queue: mover o item de forma atômica para uma lista de processamento por worker com BLMOVE (ou o antigo BRPOPLPUSH), em vez de removê-lo, e depois apagá-lo dessa lista quando o trabalho terminar. Itens que ficam para trás em uma lista de processamento podem ser recuperados.

Isso funciona, e muitos sistemas em produção rodam assim. Repare no que você construiu: um mecanismo de acknowledgement, um reaper para detectar listas de processamento abandonadas e uma política de retry. Esses são recursos de broker, agora vivendo na sua aplicação, mantidos pela sua equipe e testados só na medida em que você os testa.

O Redis Pub/Sub garante a entrega?

Não, e esse é o mecanismo mais confundido com uma fila de mensagens no Redis, sendo justamente o menos adequado para a tarefa.

O SUBSCRIBE registra interesse em um canal, e o PUBLISH envia para todos que estão inscritos naquele momento. A documentação do Redis não deixa dúvidas sobre o que isso significa:

O Pub/Sub do Redis tem semântica de entrega at-most-once. Como o nome sugere, isso significa que uma mensagem será entregue uma vez, se for entregue. Depois que a mensagem é enviada pelo servidor Redis, não há chance de ela ser enviada de novo. Se o subscriber não conseguir processar a mensagem (por exemplo, por causa de um erro ou de uma desconexão de rede), a mensagem está perdida para sempre.

Nada é armazenado. Um subscriber que está reiniciando, sendo implantado, brevemente isolado por uma partição de rede ou apenas lento perde tudo o que foi publicado nessa janela, para sempre, sem nenhum sinal de que isso aconteceu.

Isso torna o Pub/Sub excelente para um conjunto restrito de tarefas: invalidação de cache, atualizações de dashboards ao vivo, notificações de presença, qualquer coisa em que a próxima mensagem torne irrelevante a que foi perdida. E o torna errado para processamento de pedidos, pagamentos ou qualquer coisa de que alguém vá pedir explicações depois.

Dois detalhes úteis. O Pub/Sub não tem relação com o keyspace, então uma mensagem publicada no database 10 chega a um subscriber no database 1; use prefixos nos seus canais se precisar separar por ambiente. E em implantações em cluster, o sharded Pub/Sub (SSUBSCRIBE, SPUBLISH) restringe as mensagens a um único shard em vez de propagá-las pelo cluster bus, e é assim que ele escala horizontalmente.

O Redis Streams transforma o Redis em uma fila de mensagens de verdade?

É o mais perto que se chega. O Streams é onde o Redis deixa de ser uma estrutura de dados que você força a virar fila e passa a ser algo sobre o qual dá para rodar, com razoabilidade, um pipeline de trabalho.

O XADD adiciona uma entrada e retorna um ID ordenado no tempo no formato <milliseconds>-<sequence>. As entradas persistem no keyspace. O XREAD pode bloquear à espera de novas entradas. Os consumidores podem ler intervalos históricos com XRANGE.

Os consumer groups são o recurso de verdade:

XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0

Cada entrada vai para um único consumidor dentro de um grupo, e vários grupos podem consumir o mesmo stream de forma independente. Uma entrada entregue fica na Pending Entries List daquele grupo até receber o acknowledgement com XACK. Inspecione o backlog com XPENDING. Se um consumidor morre com entradas em aberto, outro pode assumi-las com XCLAIM ou XAUTOCLAIM e terminar o trabalho.

Essa combinação oferece entrega at-least-once: nada se perde quando um consumidor falha, mas uma entrada processada pouco antes de uma queda pode ser reentregue. Seus consumidores precisam ser idempotentes. É a mesma exigência de qualquer broker at-least-once; não é uma deficiência do Redis, só algo que as pessoas esquecem até verem cobranças duplicadas.

Os streams crescem para sempre, a menos que você os limite. O XADD aceita MAXLEN, e o XTRIM resolve isso depois; a forma com ~ faz o trim de forma aproximada e é bem mais barata do que o trim exato. O MINID faz o trim pelo ID da entrada em vez da contagem, o que serve para retenção baseada em tempo. Escolha um na fase de design. Um stream sem limite em um store em memória é um incidente de esgotamento de memória com o pavio aceso.

Do que você abre mão em comparação com um broker de verdade?

O Redis Streams fecha a lacuna da garantia de entrega. Ele não fecha as outras.

  • Roteamento. O RabbitMQ coloca uma exchange entre os publishers e as filas. Exchanges direct, topic, fanout e headers decidem onde uma mensagem vai parar com base em routing keys e atributos, como configuração. O Redis não tem nada equivalente: um publisher escreve em uma chave com nome. Qualquer roteamento baseado em conteúdo é código que você escreve, e vira mais uma coisa a manter em sincronia com a sua topologia.
  • TTL por mensagem. O RabbitMQ suporta TTL por mensagem, pela propriedade expiration, e por fila, usando o menor dos dois quando ambos estão definidos. Ele até documenta com honestidade o ponto delicado: "Só quando as mensagens expiradas chegam ao início da fila é que elas são de fato descartadas." No Redis, os TTLs se aplicam a chaves inteiras, não a itens individuais de uma lista nem a entradas de um stream. Expirar uma mensagem e não as vizinhas não é algo que o Redis faz.
  • Prioridades. O RabbitMQ suporta filas com prioridade. O Redis não tem conceito de prioridade para itens de lista nem para entradas de stream. Simular isso exige várias chaves e workers que as verificam em ordem, o que traz de volta problemas de starvation que os brokers já resolveram.
  • Dead-lettering. O RabbitMQ faz dead-letter automaticamente em caso de rejeição, expiração de TTL, limite de tamanho da fila ou quando o delivery limit de uma fila de quórum (quorum queue) é ultrapassado. O Redis Streams oferece a matéria-prima (o XPENDING mostra o que está travado e as contagens de entrega são registradas), mas encaminhar poison messages para um stream de quarentena, limitar os retries e alertar sobre isso é inteiramente código seu.
  • Contagem de entregas e política de retry. Relacionado, mas vale separar: um broker oferece o delivery limit como uma configuração. No Redis, você lê o contador e decide o que fazer com ele, em todo lugar, de forma consistente, para sempre.

Nada disso faz do Redis a escolha errada. Faz da escolha uma troca: você aceita ser dono de recursos que vêm de graça em outros lugares, em troca de não operar mais um sistema.

Quais são as ressalvas sobre persistência?

O Redis é um store em memória que escreve em disco. Quanto você perde em uma queda é uma decisão de configuração, e vale conhecer os números que o próprio Redis publica.

  • RDB tira snapshots pontuais nos save points configurados. A documentação do Redis é direta sobre a exposição: "normalmente você vai criar um snapshot RDB a cada cinco minutos ou mais, então, caso o Redis pare de funcionar sem um desligamento correto por qualquer motivo, você deve estar preparado para perder os últimos minutos de dados." O snapshot também faz um fork do processo e, em um dataset grande, esse fork pode travar o servidor por um instante, um efeito operacional real que abordamos junto com os outros modos de falha no nosso trabalho de alta disponibilidade do Redis.
  • AOF registra cada comando de escrita, com três políticas de fsync. appendfsync always é a mais segura e a mais lenta. appendfsync everysec é o padrão sugerido, e o Redis afirma que você "pode perder 1 segundo de dados em caso de desastre." appendfsync no deixa a decisão para o kernel.

A orientação do Redis é usar os dois se você quiser uma durabilidade comparável à de um banco de dados relacional. Duas consequências para filas:

  1. Uma mensagem confirmada ao produtor não está necessariamente em disco. Com everysec, há até um segundo de trabalho aceito mas não gravado a qualquer momento.
  2. A replicação é assíncrona. Uma falha do primary pode perder escritas que foram confirmadas mas ainda não replicadas, a mesma troca que o Redis faz em todo lugar em nome da velocidade.

Se o seu requisito é "esta mensagem não pode ser perdida", o Redis pode ser configurado para chegar perto disso, mas você paga em latência e deve verificar a configuração em vez de presumi-la.

Quando o Redis é realmente a escolha certa?

Use o Redis para filas quando:

  • O Redis já está na sua arquitetura e adicionar um broker significa assumir mais um compromisso operacional
  • A topologia é simples: produtores para um único pool de workers, sem roteamento baseado em conteúdo
  • A latência importa mais do que as garantias de entrega, e executar de novo um job perdido é aceitável
  • O volume é alto e as mensagens têm vida curta, que é para o que um store em memória foi feito
  • A equipe se sente confortável em ser dona da lógica de acknowledgement, retry e dead-letter no código da aplicação

Use o RabbitMQ quando:

  • O roteamento não é trivial e você prefere configurá-lo a programá-lo
  • Você precisa de TTL por mensagem, prioridades ou dead-lettering como recursos do broker
  • As garantias de entrega aparecem em um documento de compliance ou em um contrato com cliente
  • Consumidores diferentes precisam de subconjuntos diferentes das mensagens do mesmo publisher
  • Você quer ferramentas operacionais (UI de gerenciamento, métricas por fila, policies) sem precisar construí-las

Uma coisa não exclui a outra e, na prática, as arquiteturas mais sólidas usam as duas: Redis para cache, rate limiting, estado efêmero e fan-out rápido dentro do processo, e RabbitMQ para mensagens com garantias atreladas. Descrevemos essa divisão em Redis e RabbitMQ juntos.

Duas outras comparações que vale ter em vista. Se a carga de trabalho é um log de eventos append-only que muitos consumidores independentes reprocessam no próprio ritmo, tanto o Redis Streams quanto o RabbitMQ têm o formato errado; veja RabbitMQ Streams vs. Apache Kafka. E se você está avaliando um broker open source contra um comercial para entrega garantida, IBM MQ vs. RabbitMQ trata desse assunto.

O padrão de falha que mais vemos não é escolher o Redis. É escolher o Redis Pub/Sub para um trabalho que precisava de Streams, ou escolher Lists e depois descobrir três anos de lógica de acknowledgement acumulada que ninguém quer mexer. Escolha o mecanismo que corresponde à garantia de que você realmente precisa, e registre por escrito qual escolheu.

Fale com a AceMQ sobre Redis e RabbitMQ

Não tem certeza se o Redis está carregando mais responsabilidade de filas do que deveria? A AceMQ atua dos dois lados: suporte e consultoria em Redis e consultoria em RabbitMQ. Fale com um engenheiro da AceMQ.

Perguntas frequentes

Dá para usar o Redis como fila de mensagens?

Sim. O Redis oferece três mecanismos: Lists para filas de trabalho simples, Pub/Sub para broadcast do tipo fire-and-forget e Streams para consumer groups com entrega at-least-once. O Streams é o que mais se comporta como um broker. Se ele basta ou não depende do que você precisa além da entrega.

O Redis é um message broker?

Não no sentido em que o RabbitMQ é. O Redis oferece estruturas de dados sobre as quais você pode construir filas. Ele não tem roteamento baseado em exchanges, nem TTL por mensagem para o trabalho enfileirado, nem filas com prioridade, nem um mecanismo nativo de dead-letter. Esses são recursos de broker, e no Redis eles viram código da aplicação.

Qual a diferença entre o Redis Pub/Sub e o Redis Streams?

O Pub/Sub é at-most-once e não armazena nada. A própria documentação do Redis diz que, se um subscriber não conseguir processar uma mensagem, "a mensagem está perdida para sempre". O Streams persiste as entradas no keyspace, suporta consumer groups com acknowledgements e oferece entrega at-least-once. Se perder uma mensagem importa, essa diferença é a decisão inteira.

O Redis Pub/Sub persiste as mensagens?

Não. As mensagens publicadas vão para quem estiver inscrito naquele momento e desaparecem. Um subscriber desconectado, reiniciando ou brevemente sobrecarregado perde tudo o que foi publicado nessa janela, sem nenhuma forma de recuperar.

Como funcionam os consumer groups do Redis Streams?

Crie um grupo com XGROUP CREATE e, depois, cada consumidor lê com XREADGROUP usando o ID especial > para as novas entradas. As entradas entregues mas ainda sem acknowledgement ficam na Pending Entries List até o XACK. Se um consumidor morre, outro pode assumir as entradas pendentes dele com XCLAIM ou XAUTOCLAIM. É isso que torna possível o at-least-once.

O Redis pode perder mensagens?

Sim, e quanto depende da configuração de persistência. Os snapshots RDB são pontuais, então a documentação do Redis avisa que você deve estar preparado para perder os últimos minutos de dados depois de uma parada não limpa. Com AOF e o padrão appendfsync everysec, o Redis diz que você pode perder um segundo de dados. As mensagens do Pub/Sub não são persistidas de jeito nenhum.

O Redis é mais rápido que o RabbitMQ?

Em operações brutas em memória, em geral sim: é para isso que serve um data store em memória. A comparação engana, porque normalmente você está comparando um push em memória sem acknowledgement com uma entrega durável, roteada e confirmada. Quando você adiciona persistência e acknowledgement para deixá-los equivalentes, a diferença diminui bastante.

Quando devo usar o Redis para filas em vez do RabbitMQ?

Quando o trabalho é um fan-out simples para workers, o Redis já está na sua stack, o roteamento é de um produtor para um pool de consumidores e perder um job em caso de falha é recuperável executando-o de novo. Recorra ao RabbitMQ quando precisar de regras de roteamento, TTL por mensagem, prioridades, dead-lettering ou garantias de entrega que você possa colocar em um documento de compliance.

Fontes

Scott Sternloff

Autor

Scott SternloffArquiteto corporativo sênior

Arquiteto corporativo sênior na AceMQ. Escreve a cobertura técnica deste blog: arquitetura, clustering e migrações de RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with Redis?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Guias, comparativos e pesquisas

Aprofunde-se em Redis

Consulta gratuita

Um olhar especializado sobre sua implantação Redis

Seja para resolver um incidente em produção, planejar uma migração ou ter uma segunda opinião sobre sua arquitetura, nossa equipe está pronta. Sem discurso de vendas, só respostas.

Envie um e-mail