On this page
RabbitMQ tra regioni è un problema di spostamento dei messaggi, non di replica
La domanda che sentiamo più spesso dagli architetti che pianificano una seconda regione è, in una forma o nell'altra, “per il DR di RabbitMQ meglio la federation o lo shovel?”. È la domanda giusta, ma nasconde un presupposto sbagliato. Entrambi i plugin spostano messaggi tra cluster che non condividono alcuno stato. Nessuno dei due copia una coda. Nessuno dei due mantiene due cluster perfettamente allineati. Se il vostro piano di DR prevede che lo standby contenga gli stessi messaggi del primario nel momento in cui questo si guasta, federation e shovel vi deluderanno entrambi, e la delusione arriverà nel momento peggiore.
Quindi, la federation di RabbitMQ è adatta al disaster recovery? Sì, per un tipo preciso di DR: quello in cui accettate una finestra limitata di perdita o duplicazione dei messaggi in transito, progettate consumer che tollerano il replay e usate il plugin per mantenere una seconda regione “calda” con il traffico che le serve. Lo stesso vale per lo shovel. Questo articolo spiega che cosa fa realmente ciascun plugin in RabbitMQ 3.13 e 4.x, dove la loro semantica differisce in modi rilevanti per il ripristino e come li combiniamo in un design a due regioni che sopravvive a un'interruzione regionale senza inventare messaggi né perderli silenziosamente.
Una nota sul perimetro. Il dimensionamento dei cluster, il numero di nodi e il posizionamento multi-AZ all'interno di una regione sono trattati nella nostra guida all'HA e al dimensionamento dei cluster RabbitMQ, e qui non ripeteremo quei contenuti.
Come funziona la federation: exchange, code, upstream e hop
La federation è un modello pull. Un cluster downstream dichiara un upstream, apre verso di esso una connessione AMQP e chiede i messaggi. Il link appartiene al downstream, ed è per questo che il downstream è il lato da configurare, anche se noi abilitiamo il plugin su entrambi i lati per poter invertire i ruoli.
Ne esistono due varianti. La exchange federation fa sì che un exchange sul downstream riceva i messaggi pubblicati su un exchange omonimo sull'upstream. Dietro le quinte il downstream crea sull'upstream una coda interna, la collega con gli stessi binding presenti sull'exchange downstream e la consuma. Attraversano il link solo i messaggi che corrispondono a un binding downstream, quindi un downstream senza binding non scarica nulla. La queue federation fa sì che una coda downstream prelevi da una coda upstream omonima, ma solo quando la coda downstream ha consumer e la coda upstream ha messaggi pronti. Distribuisce il carico tra i siti anziché copiare: un messaggio che si sposta a valle scompare dalla coda upstream.
Il parametro max-hops nella definizione dell'upstream controlla fino a dove si propaga un messaggio lungo una catena di exchange federati. Il valore predefinito è 1: un messaggio attraversa un solo link e si ferma. A ogni hop la federation appone un header x-received-from e non rimanda un messaggio verso un upstream già visitato: è questo che evita i loop in una configurazione bidirezionale. Lasciate max-hops a 1, a meno che non stiate costruendo deliberatamente una mesh.
Quando l'upstream non è raggiungibile, il downstream continua a servire publisher e consumer locali. Il link ritenta ogni reconnect-delay secondi, cinque per impostazione predefinita, finché l'upstream non torna disponibile. I messaggi pubblicati sull'upstream durante l'interruzione si accumulano nella coda interna sul lato upstream, limitati solo dai valori di message-ttl ed expires impostati nella definizione dell'upstream, e vengono smaltiti quando il link si ristabilisce. È la proprietà più utile della federation per il DR e anche la sua trappola più comune, perché durante un'interruzione prolungata una coda upstream senza limiti può far scattare un disk alarm sull'upstream.
Su un link sano l'ordinamento è preservato, perché la coda interna è FIFO con un solo consumer. Non è garantito a cavallo di una riconnessione, e l'ack-mode predefinito on-confirm può riconsegnare i messaggi che erano in transito quando il link è caduto. La federation offre una consegna at-least-once sul link, mai exactly-once. E per dirlo chiaramente: la federation non è replica e non è un mirror. Un exchange federato sullo standby non sa nulla dei messaggi che restano non consumati nelle code del primario.
# On the downstream (standby) cluster
rabbitmqctl set_parameter federation-upstream east \
'{"uri":["amqps://fed:REDACTED@east-a.example.internal:5671","amqps://fed:REDACTED@east-b.example.internal:5671"],"max-hops":1,"ack-mode":"on-confirm","message-ttl":3600000,"expires":86400000,"reconnect-delay":5}'
rabbitmqctl set_policy --apply-to exchanges federate-events "^events\." \
'{"federation-upstream-set":"all"}'L'URI è un elenco di proposito. Se il primo nodo upstream non è disponibile, il link prova il successivo, che è esattamente ciò che un link di DR deve fare.
Come funzionano gli Shovel: statici, dinamici e ack mode
Uno shovel è un consumer e un publisher incollati insieme all'interno del broker. Consuma da una coda sorgente, pubblica verso un exchange o una coda di destinazione ed esegue l'ack sulla sorgente in base al proprio ack-mode. I messaggi lasciano la sorgente. È questa la differenza sostanziale rispetto alla exchange federation: uno shovel sposta, la federation copia in base ai binding.
Gli shovel statici risiedono in advanced.config e richiedono il riavvio del nodo per essere modificati, quindi sono adatti a collegamenti fissi. Gli shovel dinamici sono parametri di runtime, creati con rabbitmqctl set_parameter shovel o con la management API, e si possono aggiungere, modificare ed eliminare a caldo. Per il DR usiamo quasi esclusivamente shovel dinamici, perché failover e failback sono proprio i momenti in cui occorre riconfigurare senza riavviare un nodo. Uno shovel dinamico gira su un solo nodo; se quel nodo si guasta, lo shovel riparte su un altro.
L'ack-mode decide che cosa può perdere uno shovel. Con on-confirm, il valore predefinito, lo shovel esegue l'ack del messaggio sorgente solo dopo la conferma della destinazione, quindi un crash tra pubblicazione e conferma può produrre un duplicato ma mai una perdita. Con on-publish lo shovel esegue l'ack non appena il messaggio è scritto sulla connessione di destinazione, prima della conferma, quindi un guasto della destinazione nell'istante sbagliato lo fa perdere. Con no-ack lo shovel usa l'acknowledgement automatico sulla sorgente e perde tutto ciò che si trovava nel suo buffer di prefetch quando qualcosa si guasta. Per il traffico di DR esiste una sola risposta corretta, ed è on-confirm.
Il comportamento di riconnessione ricalca quello della federation: se perde uno dei due endpoint, lo shovel attende reconnect-delay secondi e ritenta all'infinito, a meno che src-delete-after non gli dica di fermarsi una volta svuotata la coda. Questa opzione è utile per le migrazioni una tantum e per il failback, quando volete che uno shovel svuoti una coda e poi si rimuova da solo.
Gli shovel si combinano in topologie fan-in e fan-out. Il fan-in è costituito da più shovel, uno per cluster sorgente, che pubblicano in un unico exchange di destinazione; lo usiamo per raccogliere in un cluster centrale gli eventi regionali di audit o di fatturazione. Il fan-out è costituito da più shovel che partono da un cluster, ciascuno dei quali legge la propria coda sorgente collegata allo stesso exchange e consegna a una destinazione diversa. Un singolo shovel non può fare fan-out, perché consuma ogni messaggio una sola volta.
rabbitmqctl set_parameter shovel orders-dr-to-west \
'{"src-protocol":"amqp091","src-uri":"amqps://shovel:REDACTED@east-lb.example.internal:5671","src-queue":"orders.work.dr","src-prefetch-count":500,"dest-protocol":"amqp091","dest-uri":"amqps://shovel:REDACTED@west-lb.example.internal:5671","dest-queue":"orders.work.standby","ack-mode":"on-confirm","reconnect-delay":5}'Ciò che nessuno dei due plugin offre: la replica sincrona
All'interno di un singolo cluster, le code quorum replicano ogni messaggio su una maggioranza dei propri membri tramite Raft prima di confermare al publisher. Un messaggio confermato sopravvive alla perdita di una minoranza di nodi senza lacune e senza replay. Questa è replica sincrona, ed è il motivo per cui le code quorum sono la scelta predefinita per i carichi di lavoro durevoli all'interno di una regione.
Né la federation né lo shovel fanno nulla di simile. Entrambi sono consumer asincroni che lavorano a valle del percorso di conferma del primario. Il publisher riceve la conferma quando la coda quorum del primario esegue il commit; lo standby riceve il messaggio qualche tempo dopo, quando il link lo ha consumato, lo ha trasferito attraverso la WAN e lo standby lo ha confermato. Quel divario è la vostra esposizione. Su un link sano di solito si tratta di decine di millisecondi, ma non è mai zero, e durante un'interruzione del link cresce finché il link non si ristabilisce.
La distribuzione commerciale Tanzu RabbitMQ di Broadcom include una funzionalità di warm standby replication che replica schema e dati dei messaggi da un cluster attivo a uno passivo, come funzionalità di prodotto con un proprio modello operativo. Esiste, per alcune organizzazioni è una risposta legittima e non fa parte della distribuzione open source. Non ne ripetiamo qui i dettagli, perché il loro posto è la documentazione del vendor, ma se la vostra postura di compliance richiede una funzionalità di replica da cluster a cluster pienamente supportata, è di questo che occorre parlare e, in qualità di partner MSP strategico di Broadcom per RabbitMQ, è una conversazione che affrontiamo regolarmente.
Per tutti gli altri l'impostazione onesta è questa: il DR di RabbitMQ tra regioni è asincrono, e il lavoro di progettazione consiste nel limitare l'esposizione e rendere l'applicazione indifferente a essa.
Tabella decisionale: scegliere tra federation e shovel
Raramente la scelta è l'una o l'altro per l'intero parco. Si decide per exchange e per coda, in base al significato dei messaggi e a ciò che i consumer possono tollerare.
| Criterio | A favore della exchange federation | A favore dello shovel |
|---|---|---|
| RPO atteso | Secondi, limitato dal ritardo del link; la coda upstream fa da buffer durante l'interruzione | Secondi; la coda sorgente fa da buffer durante l'interruzione |
| RTO atteso | Basso; lo standby ha già binding e traffico attivo | Da basso a moderato; occorre avviare i consumer delle code di standby |
| Active-active | Sì, link bidirezionali con max-hops 1 | Scomodo; richiede una disciplina rigorosa di una sola direzione per coda |
| Active-passive | Sì, in una sola direzione, invertita al failback | Sì, è il suo impiego naturale |
| Consumer in entrambi i siti | Necessari; ogni sito consuma la propria copia | Di solito un sito consuma, l'altro mantiene un buffer |
| Ordinamento dei messaggi | FIFO per link su un link sano; non a cavallo delle riconnessioni | FIFO per shovel su un link sano; non a cavallo delle riconnessioni |
| Duplicati | Possibili alla riconnessione con on-confirm | Possibili alla riconnessione con on-confirm |
| Lavoro da eseguire una sola volta | Poco adatta; ogni sito riceve una copia | Adatto; il messaggio si sposta e un solo sito lo elabora |
| Broadcast di eventi verso molti siti | Ideale | Poco adatto; uno shovel per destinazione e per coda |
| WAN ad alta latenza o con perdita di pacchetti | Tollerante; modello pull, retry automatico, regolate prefetch-count | Tollerante; stesso modello di retry, regolate src-prefetch-count |
| Modifiche alla topologia | Segue automaticamente i binding | Esplicito per coda, va mantenuto |
Leggete la tabella come un insieme di impostazioni predefinite. Gli eventi a cui si sottoscrivono molti servizi, quando ogni regione deve vedere ogni evento, vanno su exchange federati. Comandi e job, in cui deve agire un solo worker, vanno in code elaborate localmente o trasferite deliberatamente con uno shovel verso un'unica destinazione.
Come progettiamo RabbitMQ su più regioni: un layout di riferimento a due regioni
I clienti chiedono “come si progetta RabbitMQ su più regioni?” aspettandosi un solo diagramma. La risposta onesta sono due overlay sulla stessa coppia di cluster, uno per gli eventi e uno per il lavoro.
Prendiamo due regioni, East come primaria e West come standby, ciascuna con il proprio cluster a tre nodi e code quorum per tutto ciò che è durevole. Entrambi i cluster hanno definizioni identiche: exchange, code, binding, policy e utenti, esportati da East e applicati a West dalla pipeline di deployment, così la deriva è impossibile. Se il layout di base di exchange e binding è ancora da definire, ne parla il nostro articolo su exchange, code e binding per i microservizi, mentre la guida all'architettura RabbitMQ in produzione mostra dove tutto questo si colloca nel quadro generale.
L'overlay degli eventi usa la exchange federation in entrambe le direzioni. Ogni topic exchange con nome events.* è federato, con West come downstream di East ed East come downstream di West, e max-hops impostato a 1. I servizi che si sottoscrivono agli eventi girano in entrambe le regioni e consumano da code locali collegate all'exchange federato locale. Nel normale funzionamento East pubblica quasi tutto, West riceve le copie e i suoi subscriber le elaborano (read model, cache, indici di ricerca), mentre il link inverso resta inattivo. Poiché sono i binding a determinare che cosa attraversa il link, un subscriber che esiste solo in East non trascina il proprio traffico in West.
L'overlay del lavoro è quello in cui gli shovel si guadagnano il loro posto. Ogni coda di comandi in East, ad esempio orders.work, è alimentata da un binding su un exchange orders.cmd. Un secondo binding instrada gli stessi messaggi verso orders.work.dr, una coda quorum con un message-ttl pari al tempo massimo per cui un ordine può legittimamente restare non elaborato in East, in genere da quindici a trenta minuti. Uno shovel dinamico con on-confirm sposta di continuo orders.work.dr in orders.work.standby su West, che ha lo stesso TTL. Nel normale funzionamento nessuno consuma orders.work.standby: i messaggi arrivano, scadono e scompaiono. La coda è una finestra mobile del lavoro recente, non un mirror del backlog del primario.
Nel normale funzionamento i consumer dei comandi girano solo in East. West ha il deployment pronto ma scalato a zero per i consumer dei comandi, e attivo per i subscriber degli eventi. I publisher si connettono tramite un nome DNS o una voce di global load balancer che punta a East.
# Applied on both clusters via the definitions pipeline
rabbitmqctl set_policy --apply-to queues dr-window "^orders\.work\.(dr|standby)$" \
'{"message-ttl":1800000}'Sopravvivere a un'interruzione regionale: failover e failback senza duplicati né loop
“Come fanno i messaggi a sopravvivere a un'interruzione regionale?” si scompone in tre momenti: l'interruzione, la decisione di failover e il failback.
Durante l'interruzione i plugin non richiedono interventi. Il link di federation da West verso East cade e ritenta ogni cinque secondi. Lo shovel da East non riesce a connettersi e ritenta. I subscriber degli eventi in West continuano a lavorare su tutto ciò che è già stato consegnato. I messaggi pubblicati in East nei secondi precedenti al guasto e non ancora passati sul link restano bloccati lì finché East non torna; questo è l'RPO, e lo strato applicativo deve farsene carico tramite outbox lato publisher o replay dal sistema di record.
Il failover è un'azione deliberata, non automatica. Abbiamo visto un failover automatico tra regioni, innescato da un'anomalia momentanea del monitoraggio, creare uno split-brain dei consumer che ha richiesto un intero weekend per essere riconciliato. Il runbook è breve: confermare con probe indipendenti che East sia davvero non disponibile; ripuntare su West la voce DNS o di load balancer dei publisher; scalare da zero i consumer dei comandi in West; verificare che stiano smaltendo orders.work.standby. Tutto ciò che in quella coda è più recente del TTL viene elaborato, il che significa che il lavoro già completato da East nell'ultima finestra viene elaborato di nuovo. È voluto. Ogni consumer dei comandi gestisce una chiave di idempotenza, e il TTL limita la quantità di lavoro duplicato che lo standby potrà mai vedere.
Ora West è il primario. Conta il suo traffico events.*, e il link di federation con East come downstream lo trasferirà a East quando East tornerà disponibile. In West i comandi arrivano in orders.work e vengono elaborati localmente, con una copia instradata nella orders.work.dr di West, pronta per lo shovel inverso.
Il failback è il momento in cui, se si ha fretta, si creano duplicati e loop. La sequenza che usiamo: riattivare East senza publisher che puntano a esso e con i consumer dei comandi a zero; lasciare che il link di federation da West a East smaltisca il backlog degli eventi; creare uno shovel inverso, in on-confirm, dalla orders.work.dr di West verso la orders.work.standby di East; poi, in un periodo di calma, ripuntare i publisher su East, scalare verso l'alto i consumer di East, ridurre quelli di West e rimuovere lo shovel inverso con src-delete-after impostato a queue-length, in modo che termini una volta svuotata la coda. In nessun momento due shovel spostano la stessa coda in direzioni opposte, e in nessun momento i consumer dei comandi girano in entrambe le regioni sulla stessa coda logica.
Sull'overlay degli eventi i loop non possono formarsi, perché max-hops pari a 1 e l'header x-received-from impediscono a un messaggio che ha attraversato un link di tornare indietro. Sull'overlay del lavoro i loop possono formarsi solo se qualcuno usa uno shovel verso un exchange i cui binding alimentano la coda sorgente dello shovel stesso. La regola: usate gli shovel verso code di destinazione con nome, mai verso l'exchange che ha alimentato la sorgente.
Test di guasto da eseguire prima del go-live
Un design di DR mai messo alla prova è un'ipotesi. Eseguiamo questi test con i clienti prima del primo cutover in produzione e poi ogni trimestre.
Bloccate sul firewall la porta WAN tra i cluster per trenta minuti e osservate crescere la coda di federation sul lato upstream e orders.work.dr. Verificate che i valori di message-ttl ed expires impostati limitino davvero la crescita e che nessuno dei due cluster si avvicini alla soglia del disk alarm. Ripristinate il link e misurate quanto tempo impiega il backlog a smaltirsi con le vostre impostazioni di prefetch reali.
Pubblicate un numero noto di messaggi numerati mentre il link è giù, ripristinatelo e contate ciò che è arrivato. È il test che scova gli shovel in no-ack e i link in on-publish impostati da qualcuno “per le prestazioni”.
Riavviate, separatamente, il nodo che possiede il link di federation e quello che possiede lo shovel, e verificate che entrambi si ristabiliscano altrove. Dopo ogni riavvio controllate rabbitmqctl federation_status e rabbitmqctl shovel_status invece di dare un'occhiata alla management UI.
Provocate un memory alarm sullo standby riempiendo deliberatamente una coda. Un link di federation pubblica nel downstream, quindi un allarme sul downstream blocca il link esattamente come blocca qualsiasi altro publisher, e la coda upstream inizia a crescere. Verificate che il vostro sistema di alerting rilevi il link bloccato, non solo l'allarme.
Eseguite l'intero runbook di failover sullo standby con consumer reali e traffico sintetico, poi l'intero failback. Contate i duplicati elaborati in ciascuna fase e verificate che lo strato di idempotenza li abbia scartati tutti. Cronometrate entrambe le procedure e riportate i tempi nel runbook, perché quelli sono i vostri valori reali di RTO.
Ruotate le credenziali negli URI di upstream e shovel e verificate che i link si riconnettano. Scoprire durante un'interruzione reale che le credenziali della federation sono scadute è un tipo di guasto che abbiamo visto più di una volta.
Errori che vediamo in produzione
L'errore più comune è trattare la federation come replica e scoprire durante un incidente che lo standby non contiene nulla del backlog non consumato del primario. La soluzione è architetturale: il lavoro che deve sopravvivere richiede lo schema con coda buffer di DR e shovel, oppure un outbox a livello applicativo.
Subito dopo viene una definizione di upstream senza message-ttl e senza expires. La coda interna di federation sull'upstream è durevole e, durante una lunga interruzione del link, cresce finché l'upstream non raggiunge un disk alarm e smette di accettare pubblicazioni da chiunque, trasformando un problema dello standby in un'interruzione del primario.
Shovel impostati in no-ack o on-publish perché un benchmark mostrava un throughput più alto. Il throughput è reale, e lo è anche la perdita. Se uno shovel deve andare più veloce, aumentate src-prefetch-count e mantenete on-confirm.
Shovel bidirezionali sulla stessa coda, di solito creati durante un failback frettoloso e mai rimossi. Si rimpallano gli stessi messaggi finché qualcuno non nota i contatori.
Un solo hostname nell'URI dell'upstream. Quando è proprio quel nodo a guastarsi, il link dello standby non ha alternative anche se il resto del cluster primario è sano. Fornite un elenco di URI o l'indirizzo di un load balancer che esegua health check sui nodi.
Definizioni che divergono tra le regioni. Una coda che esiste in East ma non in West lascia lo shovel in un loop di retry o, peggio, a pubblicare in un exchange senza binding, dove i messaggi vengono scartati. Esportate le definizioni dal primario e applicatele allo standby nella stessa pipeline che distribuisce l'applicazione.
Nessun monitoraggio dello stato dei link. Alle tre del mattino nessuno guarda la management UI. Esportate federation_status e shovel_status nella vostra pipeline di metriche e configurate alert per qualsiasi link che non sia running per più del reconnect delay.
Infine, TTL DNS e connection pool che tengono i publisher legati alla regione guasta molto dopo la modifica del record. Le librerie client si riconnettono all'indirizzo risolto all'avvio, salvo diversa configurazione, quindi il runbook di failover deve includere un riavvio dei client, oppure i client vanno configurati con gli endpoint di entrambe le regioni.
Approfondimenti
Questo articolo si è deliberatamente limitato al collegamento tra i cluster. Quanto debba essere grande ogni cluster, come distribuire i nodi tra le availability zone e quali impostazioni usare per le code quorum sono temi della nostra guida all'HA, al DR e al dimensionamento dei cluster RabbitMQ. La topologia di messaging su cui poggiano gli overlay di federation e shovel è descritta in exchange, code e binding per i microservizi, mentre la struttura completa di un deployment enterprise si trova nella guida all'architettura RabbitMQ in produzione.
Se gestite RabbitMQ dalla 3.8.x alla 4.x in produzione e volete una seconda regione su cui failover e failback siano stati eseguiti davvero, non solo disegnati su una lavagna, il supporto RabbitMQ di AceMQ vi offre obiettivi di risposta da 15 minuti, in base al piano, da ingegneri che lo hanno già fatto, e i nostri incarichi di consulenza RabbitMQ progettano, realizzano e collaudano la configurazione insieme al vostro team prima che debba funzionare sul serio.
Per capire dove si colloca questa decisione nel design complessivo (separazione tra HA e DR, backup delle definizioni, obiettivi di ripristino e test di failover) consultate la guida al disaster recovery di RabbitMQ.
Domande frequenti
Per il DR di RabbitMQ conviene la federation o lo shovel?
Usate la exchange federation per il traffico di eventi che ogni regione deve vedere: segue automaticamente i binding, tollera le interruzioni del link grazie a un buffer sul lato upstream e supporta in sicurezza i link bidirezionali con max-hops impostato a 1. Usate shovel dinamici con on-confirm per le code di lavoro in cui una sola regione deve elaborare ciascun messaggio, perché uno shovel sposta i messaggi verso una destinazione precisa invece di copiarli. La maggior parte dei design di DR in produzione li usa entrambi: la federation per l'overlay degli eventi, gli shovel per un buffer di DR a finestra mobile con i comandi più recenti. Nessuno dei due è replica, quindi abbinateli a consumer idempotenti e a un outbox lato publisher.
La federation di RabbitMQ è adatta al disaster recovery?
È adatta ai design di DR che accettano una consegna asincrona e una finestra limitata di perdita o duplicazione. La federation alimenta di continuo una regione di standby con gli eventi per cui esistono binding, accumula i messaggi sul lato upstream durante un'interruzione del link e ristabilisce i link in automatico. Non copia i backlog non consumati delle code, non replica in modo sincrono e non funge da mirror. Se il vostro requisito è che lo standby contenga esattamente ciò che conteneva il primario nell'istante del guasto, la federation open source non può soddisfarlo e dovete valutare la funzionalità commerciale di warm standby replication oppure un outbox a livello applicativo.
Come si progetta RabbitMQ su più regioni?
Gestite un cluster indipendente per regione, con definizioni identiche distribuite da un'unica pipeline. Federate gli exchange di eventi in entrambe le direzioni con max-hops pari a 1, così i subscriber di ogni regione consumano copie locali. Per le code di lavoro, aggiungete sul primario una coda di copia per il DR con un TTL dei messaggi pari alla finestra di rielaborazione accettabile e trasferitela con uno shovel in on-confirm verso una coda di standby che nessuno consuma fino al failover. Tenete i consumer dei comandi in una sola regione alla volta, instradate i publisher tramite una voce DNS o di load balancer commutabile e fate del failover un passaggio deliberato del runbook, non un'attivazione automatica.
Come fanno i messaggi a sopravvivere a un'interruzione regionale?
I messaggi sopravvivono perché restano nel buffer del lato del link interrotto in cui si trovano e vengono consegnati quando il link torna attivo. La federation li accumula in una coda sul lato upstream, limitata da message-ttl ed expires; uno shovel li accumula nella propria coda sorgente. I messaggi confermati dal primario nell'istante prima del guasto ma non ancora trasferiti costituiscono l'RPO residuo, e solo un outbox lato publisher o un replay dal sistema di record colma quel divario. I consumer devono essere idempotenti, perché entrambi i plugin consegnano almeno una volta (at-least-once) a cavallo di una riconnessione e il failover rielabora deliberatamente la finestra di DR.
L'ack mode dello shovel conta davvero per il disaster recovery?
È l'impostazione che decide se uno shovel può perdere messaggi. Con on-confirm il messaggio sorgente riceve l'ack solo dopo la conferma della destinazione, quindi un guasto produce al massimo un duplicato. Con on-publish l'ack sulla sorgente avviene prima della conferma della destinazione, quindi un guasto della destinazione in quell'istante fa perdere il messaggio. Con no-ack tutto ciò che si trova nel buffer di prefetch dello shovel va perso a qualsiasi guasto. Il traffico di DR deve usare sempre on-confirm; se il throughput è un problema, aumentate il prefetch count della sorgente invece di indebolire la modalità di acknowledgement.
RabbitMQ può replicare una coda in modo sincrono verso un'altra regione?
Non con i plugin open source federation o shovel, che sono consumer asincroni che lavorano a valle del percorso di conferma del primario. In RabbitMQ la replica sincrona è una proprietà interna al cluster delle code quorum, che eseguono il commit su una maggioranza di membri prima di confermare. Estendere un singolo cluster su più regioni per ottenere questo comportamento non è supportato e dà prestazioni scadenti con la latenza della WAN. La distribuzione commerciale Tanzu RabbitMQ offre una funzionalità di warm standby replication per la replica da cluster a cluster; in tutti gli altri casi, considerate il DR tra regioni come asincrono e progettate l'applicazione in modo che tolleri la finestra che ne deriva.
Talk to an engineer
Need a hand with RabbitMQ?
Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.
Guide, confronti e ricerche


