BlogRedis

Redis come coda di messaggi: può sostituire un vero broker?

Scott Sternloff

Di Scott Sternloff, Enterprise Architect senior

LinkedIn · Aggiornato il · 12 min di lettura

Redis come coda di messaggi: può sostituire un vero broker?
On this page

Sì. Una coda di messaggi su Redis è un'opzione reale, e ci sono tre modi per costruirla: le Lists per una semplice distribuzione del lavoro, Pub/Sub per un broadcast fire-and-forget che non memorizza nulla e gli Streams per consumer group con acknowledgement e consegna at-least-once. Gli Streams sono gli unici che si comportano come un vero broker. In tutti i casi rinunciate a routing, TTL per singolo messaggio, priorità e dead-lettering: funzionalità che finirete per scrivere voi.

Raramente la domanda è se Redis possa farlo. Può. La domanda è che cosa succede la prima volta che qualcosa si guasta.

Lists, Pub/Sub e Streams a confronto

ListsPub/SubStreams
PatternCoda di lavoroBroadcastLog con consumer group
Persistenza nel keyspaceSìNoSì
Garanzia di consegnaAt-most-once per impostazione predefinitaAt-most-onceAt-least-once con i gruppi
AcknowledgementNessuno integratoNessunoXACK, con una pending list
Consumer groupNoNoSì
Replay dello storicoNo: ciò che viene estratto è persoNoSì, per intervallo di ID
Più lettori indipendentiNoSì, ognuno riceve una copiaSì, per gruppo
Uso tipicoJob in backgroundInvalidazione della cache, notificheElaborazione di eventi che richiede durabilità

Se c'è una cosa da ricordare di questo articolo: Pub/Sub perde i messaggi per progettazione, e non è un bug. Lo dice chiaramente la documentazione di Redis stessa.

Le Lists di Redis possono funzionare come coda di messaggi?

Sì, ed è il pattern più antico per usare Redis come coda di messaggi: ancora oggi la risposta giusta per gran parte dell'elaborazione di job in background.

Un producer inserisce con LPUSH. Un worker si blocca su BRPOP, che attende un elemento invece di fare polling. Più worker sulla stessa chiave competono tra loro, e ogni elemento va a esattamente uno di essi. È una coda di lavoro in due comandi, su un'infrastruttura che già gestite.

LPUSH jobs:email '{"to":"user@example.com","template":"welcome"}'
BRPOP jobs:email 0

La modalità di guasto è quella ovvia. BRPOP rimuove l'elemento e lo consegna al worker. Se quel worker muore durante l'elaborazione, l'elemento è perso: nulla sa che era in lavorazione e nulla lo riconsegnerà.

Il rimedio è il pattern della reliable queue: invece di estrarre l'elemento, lo si sposta atomicamente in una lista di elaborazione per worker con BLMOVE (o con il più vecchio BRPOPLPUSH), poi lo si elimina da quella lista una volta completato il lavoro. Gli elementi rimasti in una lista di elaborazione sono recuperabili.

Funziona, e molti sistemi in produzione si basano su questo. Notate però che cosa avete costruito: un meccanismo di acknowledgement, un processo che rileva le liste di elaborazione abbandonate e una policy di retry. Sono funzionalità da broker, che ora vivono nella vostra applicazione, vengono mantenute dal vostro team e sono collaudate solo quanto le collaudate voi.

Redis Pub/Sub garantisce la consegna?

No, ed è il meccanismo più spesso scambiato per una coda di messaggi su Redis pur essendo il meno adatto allo scopo.

SUBSCRIBE registra l'interesse per un canale, PUBLISH invia a tutti coloro che sono iscritti in quel momento. La documentazione di Redis non lascia dubbi su che cosa significhi:

Il Pub/Sub di Redis presenta una semantica di consegna dei messaggi at-most-once. Come suggerisce il nome, significa che un messaggio viene consegnato una volta, se viene consegnato. Una volta che il server Redis ha inviato il messaggio, non c'è alcuna possibilità che venga inviato di nuovo. Se il subscriber non è in grado di gestire il messaggio (per esempio a causa di un errore o di una disconnessione di rete), il messaggio è perso per sempre.

Non viene memorizzato nulla. Un subscriber in riavvio, in fase di deploy, brevemente isolato dalla rete o semplicemente lento perde tutto ciò che viene pubblicato in quella finestra, in modo permanente e senza alcun segnale che sia successo.

Questo rende Pub/Sub eccellente per un insieme ristretto di casi: invalidazione della cache, aggiornamenti di dashboard in tempo reale, notifiche di presenza, ovvero tutto ciò in cui il messaggio successivo rende irrilevante quello perso. Lo rende sbagliato per l'elaborazione degli ordini, i pagamenti o qualunque cosa di cui un giorno qualcuno vi chiederà conto.

Due dettagli utili. Pub/Sub è indipendente dal keyspace, quindi un messaggio pubblicato sul database 10 raggiunge un subscriber sul database 1: usate un prefisso nei nomi dei canali se vi serve separare gli ambienti. E nelle installazioni in cluster, lo sharded Pub/Sub (SSUBSCRIBE, SPUBLISH) confina i messaggi su un singolo shard invece di propagarli attraverso il cluster bus, ed è così che lo si scala orizzontalmente.

Gli Streams rendono Redis una vera coda di messaggi?

È quanto di più vicino esista. Con gli Streams Redis smette di essere una struttura dati da forzare a fare da coda e diventa qualcosa su cui è ragionevole far girare una pipeline di lavoro.

XADD aggiunge una voce e restituisce un ID ordinato nel tempo nel formato <milliseconds>-<sequence>. Le voci restano persistenti nel keyspace. XREAD può bloccarsi in attesa di nuove voci. I consumer possono leggere intervalli storici con XRANGE.

La vera funzionalità sono i consumer group:

XGROUP CREATE events mygroup $
XREADGROUP GROUP mygroup consumer1 STREAMS events >
XACK events mygroup 1692632086370-0

Ogni voce va a un solo consumer all'interno di un gruppo, e più gruppi possono consumare lo stesso stream in modo indipendente. Una voce consegnata resta nella Pending Entries List di quel gruppo finché non viene confermata con XACK. L'arretrato si ispeziona con XPENDING. Se un consumer muore con voci in sospeso, un altro può prenderle in carico con XCLAIM o XAUTOCLAIM e completare il lavoro.

Questa combinazione offre una consegna at-least-once: nulla va perso quando un consumer si guasta, ma una voce elaborata appena prima di un crash può essere riconsegnata. I vostri consumer devono essere idempotenti. È lo stesso requisito imposto da qualsiasi broker at-least-once: non è un limite di Redis, ma qualcosa che si dimentica finché non compaiono addebiti duplicati.

Gli Streams crescono all'infinito se non li limitate. XADD accetta MAXLEN, e XTRIM se ne occupa a posteriori; la forma con ~ esegue un trimming approssimativo ed è sensibilmente meno costosa di quello esatto. MINID esegue il trimming per ID della voce anziché per numero, il che si adatta a una retention basata sul tempo. Sceglietene uno in fase di progettazione. Uno stream illimitato in uno store in memoria è un esaurimento di memoria con la miccia a tempo.

A che cosa si rinuncia rispetto a un vero broker?

Redis Streams colma il divario sulle garanzie di consegna. Non colma gli altri.

  • Routing. RabbitMQ interpone un exchange tra publisher e code. Exchange direct, topic, fanout e headers decidono dove finisce un messaggio in base a routing key e attributi, tramite configurazione. Redis non ha un equivalente: un publisher scrive su una chiave con un nome. Qualsiasi routing basato sul contenuto è codice che scrivete voi, e diventa una seconda cosa da mantenere allineata alla vostra topologia.
  • TTL per singolo messaggio. RabbitMQ supporta il TTL per messaggio tramite la proprietà expiration e per coda, applicando il valore più basso quando sono impostati entrambi. Documenta persino onestamente il punto critico: "Solo quando i messaggi scaduti raggiungono la testa di una coda vengono effettivamente scartati." I TTL di Redis si applicano a chiavi intere, non ai singoli elementi di una lista o alle singole voci di uno stream. Far scadere un messaggio e non quelli accanto non è qualcosa che Redis faccia.
  • Priorità. RabbitMQ supporta le code con priorità. Redis non ha un concetto di priorità per gli elementi delle liste o le voci degli stream. Simularlo significa usare più chiavi e worker che le controllano in ordine, reintroducendo problemi di starvation che i broker hanno già risolto.
  • Dead-lettering. RabbitMQ esegue automaticamente il dead-lettering in caso di rifiuto, scadenza del TTL, superamento del limite di lunghezza della coda o del delivery limit di una quorum queue. Redis Streams vi dà la materia prima (XPENDING mostra che cosa è bloccato e i conteggi di consegna vengono tracciati), ma instradare i poison message verso uno stream di quarantena, limitare i retry e generare alert è interamente codice vostro.
  • Conteggio delle consegne e policy di retry. Un aspetto collegato, ma che vale la pena distinguere: un broker vi offre il delivery limit come impostazione. In Redis leggete il contatore e decidete che cosa farne, ovunque, in modo coerente, per sempre.

Niente di tutto questo rende Redis la scelta sbagliata. Rende la scelta un compromesso: accettate di farvi carico di funzionalità che altrove sono gratuite, in cambio del fatto di non gestire un altro sistema.

Quali sono i limiti della persistenza?

Redis è uno store in memoria che scrive su disco. Quanto perdete in un crash è una scelta di configurazione, e vale la pena conoscere i numeri che Redis stesso pubblica.

  • RDB crea snapshot puntuali in corrispondenza dei save point configurati. La documentazione di Redis è esplicita sull'esposizione: "di solito si crea uno snapshot RDB ogni cinque minuti o più, quindi, nel caso in cui Redis smetta di funzionare senza uno spegnimento corretto per qualsiasi motivo, si deve essere pronti a perdere gli ultimi minuti di dati." Lo snapshot inoltre esegue un fork del processo, e su un dataset grande quel fork può bloccare brevemente il server: un effetto operativo reale che trattiamo insieme alle altre modalità di guasto nel nostro lavoro sull'alta disponibilità di Redis.
  • AOF registra ogni comando di scrittura, con tre policy di fsync. appendfsync always è la più sicura e la più lenta. appendfsync everysec è il valore predefinito consigliato, e Redis dichiara che "si può perdere 1 secondo di dati in caso di disastro." appendfsync no lascia la decisione al kernel.

L'indicazione di Redis è di usarli entrambi se volete una durabilità paragonabile a quella di un database relazionale. Due conseguenze per le code:

  1. Un messaggio confermato a un producer non è necessariamente su disco. Con everysec c'è fino a un secondo di lavoro accettato ma non scritto in qualsiasi momento.
  2. La replica è asincrona. Il guasto di un primary può far perdere scritture confermate ma non ancora replicate: lo stesso compromesso che Redis fa ovunque in nome della velocità.

Se il vostro requisito è "questo messaggio non può andare perso", Redis può essere configurato per avvicinarsi molto, ma lo pagate in latenza e dovreste verificare la configurazione anziché darla per scontata.

Quando Redis è davvero la scelta giusta?

Usate Redis per le code quando:

  • Redis è già nella vostra architettura e aggiungere un broker significa aggiungere un impegno operativo
  • La topologia è semplice: producer verso un solo pool di worker, nessun routing basato sul contenuto
  • La latenza conta più delle garanzie di consegna, e rieseguire un job perso è accettabile
  • Il volume è elevato e i messaggi hanno vita breve, che è esattamente ciò per cui è costruito uno store in memoria
  • Il team è a suo agio nel gestire nel codice applicativo la logica di acknowledgement, retry e dead-letter

Usate RabbitMQ quando:

  • Il routing non è banale e preferite configurarlo anziché programmarlo
  • Vi servono TTL per singolo messaggio, priorità o dead-lettering come funzionalità del broker
  • Le garanzie di consegna compaiono in un documento di conformità o in un contratto con un cliente
  • Consumer diversi hanno bisogno di sottoinsiemi diversi dei messaggi dello stesso publisher
  • Volete strumenti operativi (interfaccia di gestione, metriche per coda, policy) senza doverli costruire

Le due opzioni non si escludono a vicenda, e in pratica le architetture più solide le usano entrambe: Redis per caching, rate limiting, stato effimero e fan-out rapido all'interno del processo, RabbitMQ per i messaggi con garanzie associate. Abbiamo descritto questa suddivisione in usare Redis e RabbitMQ insieme.

Altri due confronti da tenere presenti. Se il carico è un log di eventi append-only che molti consumer indipendenti rileggono al proprio ritmo, sia Redis Streams sia RabbitMQ hanno la forma sbagliata: vedete RabbitMQ Streams vs Apache Kafka. E se state valutando un broker open source rispetto a uno commerciale per una consegna garantita, IBM MQ vs RabbitMQ affronta proprio questo tema.

Il problema che vediamo più spesso non è la scelta di Redis. È scegliere Redis Pub/Sub per un lavoro che richiedeva gli Streams, oppure scegliere le Lists e scoprire poi tre anni di logica di acknowledgement accumulata che nessuno vuole toccare. Scegliete il meccanismo che corrisponde alla garanzia di cui avete davvero bisogno, e mettete per iscritto quale avete scelto.

Parlate con AceMQ di Redis e RabbitMQ

Non siete sicuri che Redis si stia facendo carico di più code di quanto dovrebbe? AceMQ lavora su entrambi i fronti: supporto e consulenza Redis e consulenza RabbitMQ. Parlate con un ingegnere AceMQ.

Domande frequenti

Redis si può usare come coda di messaggi?

Sì. Redis offre tre meccanismi: le Lists per semplici code di lavoro, Pub/Sub per broadcast fire-and-forget e gli Streams per consumer group con consegna at-least-once. Gli Streams sono quelli che si comportano più come un broker. Che bastino dipende da ciò che vi serve oltre alla consegna.

Redis è un message broker?

Non nel senso in cui lo è RabbitMQ. Redis fornisce strutture dati su cui potete costruire un sistema di code. Non ha routing basato su exchange, né TTL per singolo messaggio sul lavoro in coda, né code con priorità, né un meccanismo di dead-letter integrato. Sono funzionalità da broker, e in Redis diventano codice applicativo.

Qual è la differenza tra Redis Pub/Sub e Redis Streams?

Pub/Sub è at-most-once e non memorizza nulla. La documentazione di Redis stessa afferma che, se un subscriber non riesce a gestire un messaggio, "il messaggio è perso per sempre". Gli Streams persistono le voci nel keyspace, supportano consumer group con acknowledgement e garantiscono una consegna at-least-once. Se perdere un messaggio conta, quella differenza è l'intera decisione.

Redis Pub/Sub rende persistenti i messaggi?

No. I messaggi pubblicati arrivano a chi è iscritto in quel momento e poi spariscono. Un subscriber disconnesso, in riavvio o brevemente sovraccarico perde tutto ciò che viene pubblicato in quella finestra, senza alcun modo di recuperarlo.

Come funzionano i consumer group di Redis Streams?

Si crea un gruppo con XGROUP CREATE, poi ogni consumer legge con XREADGROUP usando l'ID speciale > per le nuove voci. Le voci consegnate ma non confermate restano nella Pending Entries List fino a XACK. Se un consumer muore, un altro può prendere in carico le sue voci in sospeso con XCLAIM o XAUTOCLAIM. È questo che rende possibile l'at-least-once.

Redis può perdere messaggi?

Sì, e quanti dipende dalla configurazione della persistenza. Gli snapshot RDB sono puntuali, quindi la documentazione di Redis avverte di essere pronti a perdere gli ultimi minuti di dati dopo un arresto non pulito. Con AOF e il valore predefinito appendfsync everysec, Redis dichiara che si può perdere un secondo di dati. I messaggi Pub/Sub non vengono resi persistenti affatto.

Redis è più veloce di RabbitMQ?

Per le operazioni in memoria pure, in generale sì: è a questo che serve un data store in memoria. Il confronto però è fuorviante, perché di solito si confronta un push in memoria senza conferma con una consegna durevole, instradata e confermata. Una volta aggiunte persistenza e acknowledgement per renderli equivalenti, la differenza si riduce notevolmente.

Quando conviene usare Redis per le code invece di RabbitMQ?

Quando il lavoro è un semplice fan-out verso i worker, Redis è già nel vostro stack, il routing va da un producer a un solo pool di consumer e la perdita di un job in caso di guasto si recupera rieseguendolo. Scegliete RabbitMQ quando vi servono regole di routing, TTL per singolo messaggio, priorità, dead-lettering o garanzie di consegna da poter inserire in un documento di conformità.

Fonti

Scott Sternloff

Autore

Scott SternloffEnterprise Architect senior

Enterprise Architect senior di AceMQ. Firma qui gli articoli tecnici: architettura, clustering e migrazioni di RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with Redis?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Guide, confronti e ricerche

Approfondite Redis

Consulenza gratuita

Fate esaminare a un esperto il vostro deployment Redis

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci