BlogRabbitMQ

Code quorum di RabbitMQ: come funzionano e quando le code classiche restano la scelta giusta

Scott Sternloff

Di Scott Sternloff, Enterprise Architect senior

LinkedIn · Aggiornato il · 14 min di lettura

Code quorum di RabbitMQ: come funzionano e quando le code classiche restano la scelta giusta
On this page

La risposta breve: usate le code quorum (quorum queues) per default e tenete le code classiche per lavori davvero transitori e ad alto ricambio, in cui perdere un messaggio per il guasto di un nodo è accettabile. È l'indicazione giusta da tempo, ma il ragionamento conta più della regola, perché sono le due eccezioni e il costo della migrazione a creare davvero problemi ai team.

La domanda emerge di continuo negli assessment RabbitMQ, di solito in una di due forme: un operatore che ha ereditato un cluster pieno di code classiche e vuole capire se la conversione vale il disagio, oppure un team che progetta qualcosa di nuovo e ha bisogno di una scelta predefinita difendibile.

I tre tipi di coda, confrontati su ciò che conta

RabbitMQ ha tre meccanismi di storage da conoscere, e il terzo non è affatto una coda: proprio per questo viene usato male.

Matrice di confronto tra coda classica, coda quorum e stream di RabbitMQ per storage, comportamento in lettura, replica, resistenza a un'interruzione di corrente e caso d'uso ideale

La riga che decide la maggior parte dei progetti è Survives power loss(resistenza a un'interruzione di corrente). Una coda quorum replica e scrive ogni messaggio su disco su un quorum di nodi prima di confermarlo al publisher. Una coda classica persiste in locale ma senza replica, quindi il guasto di un nodo si porta via la coda. Uno stream replica ma non esegue fsync prima della conferma, il che significa che ha la stessa esposizione di Kafka: va bene per la telemetria, non per i pagamenti.

La riga che viene fraintesa è Reads(letture). Le code classiche e quorum sono distruttive: un consumer prende il messaggio e il messaggio sparisce. Gli stream non sono distruttivi: il messaggio resta e molti consumer possono leggere la stessa cronologia in modo indipendente, ciascuno dal proprio offset. Se vi trovate a voler rileggere i messaggi di una coda, quello che vi serve è uno stream.

Perché una coda quorum può permettersi l'fsync

L'obiezione tipica alle code quorum è che scrivere su disco a ogni messaggio debba per forza essere lento. Non è così, e il motivo è una scelta progettuale che vale la pena capire, perché è anche la differenza tecnica più netta tra RabbitMQ e Kafka.

Diagramma di un publisher che scrive sulla replica leader di una coda quorum, la quale scrive in un write-ahead log condiviso tra più code e replicato su due repliche follower, con il confronto tra l'fsync ammortizzato di RabbitMQ e l'fsync per partizione di Kafka

Le code quorum condividono un write-ahead log. Un solo flush su disco copre messaggi destinati a molte code diverse, quindi il costo viene ammortizzato sull'intero broker invece di essere pagato separatamente da ogni coda. È questo che rende possibile avere contemporaneamente molte code, replica con fsync e un throughput reale: tre proprietà tra cui normalmente bisogna sceglierne due.

Kafka funziona all'opposto: l'fsync avviene per partizione, il che lo rende abbastanza costoso da essere sconsigliato per default, affidandosi alla sola replica. Non è tanto un difetto quanto una scommessa diversa, ma significa che un messaggio Kafka confermato si trova nella page cache di più broker, non su disco.

C'è poi un secondo vantaggio, più sottile. In una coda quorum Raft copre lo stato di consegna, non solo il contenuto dei messaggi: quale messaggio è assegnato a quale consumer e quanti crediti ha quel consumer. Dopo un failover del leader, il nuovo leader riparte con quello stato intatto, invece di riconsegnare un intero batch. È questo meccanismo a rendere possibili TTL per messaggio, priorità, ritardi e routing dead-letter.

Come le code quorum garantiscono durabilità e failover

Il meccanismo di ammortizzazione dell'fsync descritto sopra spiega perché le code quorum sono abbastanza veloci da essere usate per default. Non spiega però come sopravvivono alla caduta di un nodo nel pieno del flusso, ed è la parte da capire prima di affidarvisi in produzione.

Una coda quorum è un gruppo Raft: un numero dispari di membri, uno per nodo, con un membro eletto leader in ogni momento. Il leader accetta tutte le pubblicazioni e le consegne ai consumer; i follower replicano il log del leader e votano alle elezioni. Quando il leader tace, perché il nodo è andato in crash o la rete lo ha isolato, i follower se ne accorgono da un heartbeat mancato, attendono un timeout di elezione casuale (così che due follower non indicano un'elezione nello stesso istante) e il primo che raggiunge la maggioranza dei voti diventa il nuovo leader per un nuovo term. Nessun intervento dell'operatore e nessun downtime visibile ai client oltre alla riconnessione.

Che cosa significa davvero un publisher confirm: RabbitMQ invia la conferma solo dopo che il messaggio è stato scritto sulla maggioranza dei membri del gruppo, non solo sul leader. Per una coda con tre membri, due su tre. A quel punto la scrittura è durevole anche se il nodo che ospita la terza replica non torna mai più: perderlo costa una replica, non il messaggio.

Lo stesso requisito di maggioranza definisce anche la disponibilità per ciascun numero di guasti. Con tre membri: se se ne perde uno, i due rimanenti formano ancora una maggioranza, quindi la coda continua ad accettare scritture e funziona semplicemente con una replica in meno finché il nodo mancante non torna e si riallinea dal log Raft. Se se ne perdono due, il singolo nodo superstite non può formare da solo una maggioranza, quindi la coda smette del tutto di accettare scritture, per scelta progettuale, anziché rischiare che un membro con un log incompleto diventi l'unica fonte di verità. È la stessa logica di pause_minority a livello di cluster, applicata alla singola coda.

È anche il motivo per cui un numero pari di membri è peggio di quanto sembri, e non solo superfluo. Una coda con quattro membri tollera comunque la perdita di un solo membro: con due membri persi restano due superstiti su quattro, che non sono una maggioranza. Si è aggiunta un'intera replica, con il relativo overhead Raft e costo in memoria, per la stessa identica tolleranza ai guasti di tre membri. Per questo il numero di membri deve essere sempre dispari. Il posizionamento delle repliche segue la stessa logica dei nodi del cluster: un membro per nodo, distribuiti su host o availability zone separati, in modo che un singolo guasto dell'infrastruttura non possa eliminare due membri della stessa coda contemporaneamente.

Un esempio concreto: code quorum per l'elaborazione dei pagamenti

L'elaborazione dei pagamenti è proprio il workload per cui è stato pensato il modello di durabilità descritto sopra: ogni messaggio conta, l'ordine conta all'interno di un conto e una duplicazione silenziosa è peggio di un retry lento. Ecco come si combinano i vari elementi in questo caso specifico.

  • Topologia. Una coda quorum con tre membri, un nodo per availability zone, soddisfa sia il requisito di durabilità sia la perdita di un'intera zona senza alcuna gestione di casi particolari. È lo stesso schema a tre AZ descritto nella nostra guida su HA, disaster recovery e dimensionamento del cluster; un workload di pagamenti è esattamente il caso che giustifica di non ridurlo a una sola AZ per risparmiare un nodo.
  • Publisher confirm, non fire-and-forget. Il servizio che avvia un pagamento attende il publish confirm del broker prima di comunicare al chiamante che il pagamento è stato accettato. Data la garanzia di scrittura a maggioranza descritta sopra, quella conferma significa che l'istruzione di pagamento è durevole su almeno due nodi su tre prima che chiunque a valle venga informato.
  • Retry limitati con dead letter. Impostate x-delivery-limit sulla coda, in modo che un messaggio che continua a fallire l'elaborazione da parte del consumer non vada in loop all'infinito. Una volta esauriti i tentativi di consegna, instradatelo verso una dead-letter queue dedicata invece di scartarlo. Una DLQ dei pagamenti va trattata come una condizione di allarme, non come un cestino: tutto ciò che vi finisce deve essere esaminato da una persona o da un job di riconciliazione automatico, perché rappresenta un pagamento che non si è concluso correttamente nei primi tentativi.
  • Consumer idempotenti basati sull'ID del pagamento. Le code quorum, come le code classiche, offrono una consegna at-least-once. Con il delivery limit e il DLX descritti sopra, un consumer può vedere lo stesso messaggio di pagamento più di una volta. Progettate il consumer in modo che verifichi (o esegua un upsert su) un ID di pagamento già registrato come elaborato prima di applicare di nuovo la transazione: una riconsegna diventa così un'operazione nulla anziché un doppio addebito o una doppia scrittura contabile.
  • Single active consumer per un regolamento ordinato. Quando l'ordine di regolamento conta all'interno di un conto, per esempio per applicare addebiti e accrediti in sequenza, impostate x-single-active-consumer sulla coda, così che una sola istanza di consumer la elabori alla volta, con failover automatico su un consumer di backup se quello attivo si ferma. Si sacrifica un po' di throughput in cambio di un ordinamento rigoroso per coda, che di solito è il compromesso giusto quando si muove denaro.
  • Cosa monitorare. Profondità della coda e lag dei consumer sulla coda dei pagamenti, profondità della DLQ (dovrebbe restare vicina allo zero e qualsiasi crescita prolungata è un incidente), numero di riconsegne per consumer (un trend in crescita indica un bug del consumer, non un problema del broker) e stato di sincronizzazione delle repliche sui tre membri, così che una replica in ritardo venga individuata prima di restare l'unica. Per pattern che vanno oltre questa singola coda, vedete come le stesse garanzie di durabilità si combinano in un design event-driven più ampio in exchange, code e binding per i microservizi; per il quadro completo di come AceMQ definisce un design di messaggistica adatto ai pagamenti, vedete resilienza e ottimizzazione dei pagamenti.

Cosa si perde con la conversione

La maggior parte delle indicazioni si ferma a "usate le code quorum". La parte utile sono le due cose che davvero colgono impreparati.

  • La memoria per coda è maggiore. Una coda quorum porta con sé lo stato Raft e occupa più memoria di una coda classica. Se il vostro design prevede migliaia di code piccole e di breve durata (uno schema comune per sessione o per richiesta), convertirle tutte insieme può portare un cluster a una pressione sulla memoria che prima non esisteva. È il modo più comune in cui una migrazione fatta con le migliori intenzioni causa un incidente.
  • La priorità non funziona allo stesso modo. Le code classiche implementano la priorità tramite x-max-priority. Le code quorum gestiscono la priorità in modo diverso e non offrono lo stesso identico meccanismo, quindi una coda il cui comportamento dipende dalla semantica di priorità delle classiche va riprogettata, non semplicemente dichiarata di nuovo. Individuate questi casi prima di pianificare la migrazione, non durante.

C'è anche un limite rigido da conoscere: una coda quorum non è shardata. Arriva al massimo a circa 80.000 messaggi al secondo con replica e fsync, e non si può suddividere una coda su più nodi per andare più veloci. Il throughput aggregato su molte code scala senza problemi, ma un singolo flusso molto intenso richiede uno sharding a livello applicativo: pubblicare su N code con una routing key che distribuisca il carico. Approfondiamo questo vincolo e il confronto con il partizionamento di Kafka in RabbitMQ vs Kafka.

Come scegliere, e quanto costa davvero una conversione

Per una determinata coda bastano quattro domande.

Diagramma decisionale con quattro domande su tolleranza alla perdita di messaggi, funzionalità per messaggio, tasso di ricambio ed esigenze di replay, che porta a coda quorum, coda classica o stream, con l'avvertenza che la conversione non avviene in-place

L'avvertenza nel diagramma è la realtà operativa: il tipo di coda è fissato al momento della dichiarazione. Non esiste una conversione in-place. Migrare significa dichiarare una nuova coda quorum, indirizzarvi publisher e consumer, svuotare la coda classica e rimuoverla una volta vuota. Su un sistema in produzione è una modifica coordinata con una finestra di svuotamento, non una modifica di configurazione.

La sequenza che funziona: convertite per prime le code che trasportano lavoro che non potete permettervi di perdere, in piccoli lotti, tenendo d'occhio la memoria man mano. Lasciate classiche le code davvero transitorie. Resistete alla tentazione di convertire tutto in un solo passaggio: è proprio la modifica che trasforma un miglioramento della sicurezza in un disservizio.

Se state valutando una conversione su un ambiente esteso e volete scoprire le insidie su memoria e priorità prima di iniziare, e non durante, è una parte normale di un health check RabbitMQ; in alternativa, parlate con AceMQ per definirne il perimetro.

Diverse convinzioni alla base di queste scelte non sono più valide: miti e realtà su RabbitMQ.

Il tipo di coda è la seconda di sette decisioni nella guida al clustering e al dimensionamento di RabbitMQ; la scelta sbagliata è anche il quarto di dieci pattern nella guida all'affidabilità.

Domande frequenti

Che differenza c'è tra una coda classica e una coda quorum?

Una coda classica risiede su un solo nodo con persistenza per messaggio: se quel nodo si guasta, la coda e il suo contenuto restano non disponibili finché il nodo non torna attivo. Una coda quorum è replicata su un numero dispari di nodi tramite il consenso Raft e scrive ogni messaggio su disco su un quorum di repliche prima di confermarlo al publisher. La classica è locale e veloce da creare e distruggere; la quorum è replicata e sicura, ed è la scelta predefinita consigliata per tutto ciò che non potete permettervi di perdere.

Le code quorum sono più lente delle code classiche?

Un po', e meno di quanto la maggior parte delle persone si aspetti. Una singola coda quorum arriva a circa 80.000 messaggi al secondo con replica e fsync; una coda classica va un po' più veloce perché non fa né l'una né l'altro. Le code quorum restano veloci perché condividono un write-ahead log: un solo fsync copre molte code e il costo viene ammortizzato invece di essere pagato coda per coda.

Quando conviene usare ancora una coda classica?

Quando il lavoro è davvero transitorio e ad alto ricambio e perdere un messaggio per il guasto di un nodo è accettabile: broadcast di invalidazione della cache, notifiche effimere, lavori temporanei che verranno comunque rigenerati. Le code classiche occupano anche meno memoria per coda, il che conta se gestite un numero molto elevato di code piccole e di breve durata.

Si può convertire una coda classica in coda quorum senza ricrearla?

No. Il tipo di coda è fissato al momento della dichiarazione, quindi convertire significa dichiarare una nuova coda quorum, spostarvi publisher e consumer, svuotare la coda classica e poi rimuoverla. Pianificatela come una migrazione con una finestra di svuotamento. Convertire migliaia di code in un solo passaggio è la migrazione che più spesso va storta.

Le code quorum supportano la priorità dei messaggi?

Non allo stesso modo. Le code classiche supportano la priorità tramite l'argomento x-max-priority; le code quorum gestiscono la priorità in modo diverso e non offrono lo stesso identico meccanismo, quindi una coda che dipende dalla semantica di priorità delle classiche va riprogettata, non semplicemente convertita. Questo e il maggiore uso di memoria per coda sono le due insidie che sorprendono i team a metà migrazione.

Di quanti nodi hanno bisogno le code quorum?

Un numero dispari, con tre come base pratica: tollera il guasto di un nodo mantenendo la maggioranza. Cinque è comune nei deployment più grandi e tollera due guasti. Oltre cinque, l'overhead del consenso cresce senza un reale guadagno in sicurezza, quindi cluster più grandi sono di solito motivati da esigenze diverse dai requisiti di quorum.

Gli stream sostituiscono le code quorum?

No: risolvono un problema diverso. Uno stream è un log append-only con letture non distruttive, quindi il consumo non rimuove il messaggio e molti consumer possono leggere la stessa cronologia in modo indipendente. Una coda quorum è una coda di lavoro con letture distruttive e acknowledgement per messaggio. Gli stream inoltre non eseguono fsync prima della conferma, quindi offrono una garanzia di durabilità più debole.

Le code quorum sopravvivono al guasto dei nodi?

Sì, è il loro scopo principale. Una coda quorum replica ogni messaggio sulla maggioranza dei suoi membri tramite il consenso Raft prima di confermare la pubblicazione: una coda con tre membri continua a funzionare dopo aver perso un nodo e smette di accettare scritture solo se ne perde un secondo, perché a quel punto due membri su tre non sono più raggiungibili. I membri vanno collocati uno per nodo, su host o availability zone separati, in modo che un singolo guasto dell'infrastruttura non possa eliminare più di una replica alla volta.

Le code quorum reggono il throughput dell'elaborazione dei pagamenti?

Una singola coda quorum arriva al massimo a circa 80.000 messaggi al secondo con replica e fsync, ben oltre ciò che la maggior parte dei workload di pagamento richiede per coda. Se un flusso specifico ha bisogno di più, conviene suddividerlo su più code quorum con una routing key anziché aspettarsi che una sola coda scali oltre, perché le code quorum non sono shardate internamente. Insieme a publisher confirm, `x-delivery-limit`, dead-lettering e consumer idempotenti, nei pagamenti il fattore limitante raramente è il throughput: è la correttezza in caso di retry.

Scott Sternloff

Autore

Scott SternloffEnterprise Architect senior

Enterprise Architect senior di AceMQ. Firma qui gli articoli tecnici: architettura, clustering e migrazioni di RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Consulenza gratuita

Fate esaminare a un esperto il vostro cluster RabbitMQ

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci