In questa pagina
Gli stream in un paragrafo
Gli stream in un paragrafo
Uno stream è un log append-only replicato che i consumer leggono senza rimuovere i messaggi. Usatelo per fan-out, replay, throughput elevato e backlog di grandi dimensioni; usate una coda quorum quando vi servono dead-lettering, TTL, priorità o una durabilità a livello di fsync. Dichiaratelo con x-queue-type impostato a stream, impostate max-age o max-length-bytes fin dal primo giorno, assegnate a ogni consumer un prefetch e un offset, eseguitelo su un numero dispari di nodi, gestite voi le repliche e ricordate che una conferma significa replicato, non scritto su disco.
Che cos'è uno stream RabbitMQ
Uno stream è un log append-only, persistente e replicato, che in RabbitMQ si affianca alle code classiche e alle code quorum. La differenza sta nel modo in cui i messaggi ne escono: non ne escono. Consumare da una coda rimuove il messaggio; consumare da uno stream sposta solo la posizione di quel consumer, quindi un numero qualsiasi di consumer può leggere gli stessi messaggi, tutte le volte che vuole, finché la retention non li fa scadere. La documentazione di RabbitMQ chiama questo comportamento semantica di consumo non distruttiva. Gli stream sono sempre durevoli e sempre replicati; non esiste una variante transitoria.
Quando uno stream è il tipo giusto e quando no
Gli stream sono stati creati per quattro casi che i tipi di coda gestiscono male: fan-out ampio (molti consumer che leggono gli stessi messaggi senza una coda ciascuno), replay (agganciarsi a un punto qualsiasi del log e leggere da lì), throughput (l'obiettivo di progetto era competere con i sistemi basati su log) e backlog di grandi dimensioni (le code sono ottimizzate per tendere a svuotarsi; gli stream conservano milioni di messaggi con un uso minimo di memoria).
Sono il tipo sbagliato quando vi servono le funzionalità delle code. Gli stream non supportano dead letter exchange, TTL dei messaggi, limiti di lunghezza della coda, priorità dei messaggi o dei consumer, esclusività o dichiarazione non durevole, e la documentazione dice esplicitamente che molte di queste funzionalità non saranno mai supportate a causa del modello di lettura non distruttivo. Se il carico consiste nella distribuzione del lavoro con retry e dead-lettering, serve una coda quorum.
Stream e coda RabbitMQ a confronto:
| Coda (quorum o classica) | Stream | |
|---|---|---|
| Come vengono letti i messaggi | In modo distruttivo: un messaggio confermato viene rimosso | In modo non distruttivo: i consumer leggono da un offset e il messaggio resta |
| Molti consumer, stessi dati | Una coda per consumer, ciascuna con la propria copia | Un solo stream, un numero qualsiasi di consumer |
| Replay | No | Sì, da qualsiasi offset ancora entro la retention |
| Per quanto tempo restano i messaggi | Finché non vengono consumati, o finché un TTL o un limite di lunghezza non li rimuove | Finché max-age o max-length-bytes non li fanno scadere |
| Dead-lettering, TTL dei messaggi, priorità | Supportati sulle code quorum | Non supportati |
| Backlog di grandi dimensioni | Progettata per tendere a svuotarsi | Progettato per contenere milioni di messaggi |
Dichiarare uno stream e impostare la retention
Dichiarate una coda con l'argomento x-queue-type impostato a stream. Il tipo deve essere specificato dal client al momento della dichiarazione; non può essere impostato né modificato tramite policy. Uno stream resta comunque una coda AMQP 0.9.1, quindi si collega a qualsiasi exchange come una coda normale.
Impostate la retention fin dal primo giorno, perché un log append-only cresce finché il disco non è pieno. Le impostazioni sono due, utilizzabili insieme e modificabili tramite policy: max-age (unità Y, M, D, h, m, s, quindi 7D è una settimana) e max-length-bytes. La retention viene valutata per file di segmento, e la dimensione predefinita del segmento è 500 MB, quindi uno stream conserva sempre almeno un segmento e può superare il limite configurato fino a un segmento. Dimensionate il disco per il limite più un segmento per stream, non per il solo limite.
Consumo: offset, prefetch e acknowledgement
Un consumer sceglie da dove iniziare con l'argomento x-stream-offset: first, last (l'ultimo chunk scritto), next (il valore predefinito: solo i nuovi messaggi), un offset numerico, un timestamp oppure un intervallo come 1h. I timestamp vengono risolti ai confini dei chunk, quindi un consumer può ricevere messaggi pubblicati poco prima dell'istante richiesto.
Due regole sorprendono i team che arrivano dalle code. I consumer devono impostare un prefetch QoS, e gli acknowledgement sono obbligatori: su uno stream l'ack funge da credito che fa avanzare l'offset del consumer. Inoltre il QoS globale non è supportato: consumare da uno stream su un canale con prefetch globale restituisce un errore di canale. Usate il prefetch per consumer.
AMQP 0.9.1 o protocollo stream
Qualsiasi client AMQP 0.9.1 in grado di passare argomenti di coda e di consumer può usare uno stream. Il team di RabbitMQ raccomanda comunque il protocollo binario dedicato agli stream e i relativi client, per due motivi: offre il throughput migliore e alcune funzionalità esistono solo lì. Il tracciamento degli offset lato broker è una di queste: è disponibile solo tramite lo stream plugin, e gli offset vengono memorizzati nello stream stesso come dati non di messaggio. La deduplicazione lato publisher è un'altra: un producer con nome e con un publishing ID strettamente crescente consente al broker di filtrare i messaggi reinviati dopo un crash, a condizione che una sola istanza del producer usi quel nome alla volta.
Un effetto collaterale da conoscere: i messaggi sono memorizzati come dati AMQP 1.0, quindi gli header AMQP 0.9.1 con valori complessi come array o tabelle non vengono convertiti.
Super stream e single active consumer
Un super stream è uno stream logico partizionato su più stream normali, che distribuisce storage e traffico tra i nodi del cluster. Le librerie client lo presentano come un unico stream. In combinazione con il single active consumer, in cui solo un'istanza di un gruppo con nome riceve i messaggi e un'altra subentra se si ferma, si ottiene un'elaborazione ordinata per partizione con failover. Entrambe le funzionalità sono arrivate con RabbitMQ 3.11. La CLI crea la topologia con una sola riga: rabbitmq-streams add_super_stream invoices --partitions 3.
Il consiglio della stessa documentazione è la moderazione: i super stream aggiungono complessità e vanno usati solo quando un singolo stream ha raggiunto i propri limiti.
Gestire gli stream: repliche, quorum e memoria
Gli stream sono sistemi a quorum, quindi usate cluster di dimensione dispari: tre nodi tollerano un guasto, cinque ne tollerano due e un cluster a due nodi non ne tollera nessuno. L'appartenenza delle repliche è gestita dall'operatore. Un nodo aggiunto al cluster non ospita repliche di stream finché non eseguite rabbitmq-streams add_replica, e un nodo in dismissione va rimosso con delete_replica da ogni stream che ospita. Verificate la replica con rabbitmq-streams stream_status. Quando sostituite un nodo, aggiungete quello nuovo, attendete che sia sincronizzato e poi rimuovete quello vecchio; non è possibile aggiungere una replica mentre un'altra non è sincronizzata.
Gli stream usano poca RAM nel broker ma si appoggiano pesantemente alla page cache del kernel. Nei container quella page cache rientra nel limite di memoria, ed è così che un carico di stream perfettamente sano porta all'OOM-kill di un pod. Inoltre gli stream non reagiscono ai memory alarm. Usate i dischi più veloci disponibili: il throughput cala con l'aumentare della dimensione dei messaggi e del numero di repliche.
Sicurezza dei dati: che cosa significa una publisher confirm su uno stream
Una conferma su uno stream significa che il messaggio è stato replicato su un quorum di repliche. Non significa che sia stato scritto su disco: gli stream scrivono su disco ma non eseguono fsync, lasciando questo compito al sistema operativo. Uno spegnimento non controllato può quindi far perdere i dati recenti su quel nodo, che normalmente vengono replicati di nuovo dagli altri. L'indicazione della documentazione è diretta: se vi servono garanzie più forti, usate le code quorum, che confermano solo dopo che un quorum ha scritto e svuotato i dati su disco. I messaggi pubblicati senza conferme non hanno alcuna garanzia.
Dove non si possono usare
Verificate la piattaforma prima del design. Amazon MQ for RabbitMQ non supporta gli stream, e la sua documentazione avverte che crearne uno provocherà una perdita di dati. Gli stream richiedono RabbitMQ self-managed, un provider di hosting specializzato oppure broker nel vostro account gestiti per vostro conto.
Domande frequenti
Che differenza c'è tra uno stream e una coda in RabbitMQ?
Una coda rimuove un messaggio quando un consumer ne conferma la ricezione, quindi ogni messaggio viene elaborato una volta e la coda si svuota. Uno stream conserva i messaggi finché la retention non li fa scadere e i consumer leggono da un offset, quindi molti consumer possono leggere gli stessi messaggi e rileggerli. Le code hanno dead-lettering, TTL e priorità; gli stream no.
Che cos'è uno stream RabbitMQ?
Un log append-only, persistente e replicato, all'interno di RabbitMQ. I consumer lo leggono senza rimuovere i messaggi, quindi molti consumer possono leggere gli stessi dati e rileggerli da qualsiasi offset finché la retention non li fa scadere. Si dichiara impostando x-queue-type a stream.
Quando conviene usare uno stream invece di una coda quorum?
Usate uno stream per fan-out ampio, replay, throughput molto elevato o backlog di grandi dimensioni. Usate una coda quorum per la distribuzione del lavoro che richiede dead-lettering, TTL, priorità o la massima durabilità, perché le code quorum confermano solo dopo che un quorum ha scritto i dati su disco, mentre gli stream non eseguono fsync.
Come si evita che uno stream RabbitMQ riempia il disco?
Impostate la retention con max-age, max-length-bytes o entrambi, tramite argomento della coda o policy. La retention viene applicata per segmento e il segmento predefinito è di 500 MB, quindi prevedete un margine di almeno un segmento in più per stream.
Gli stream RabbitMQ supportano i dead letter exchange o il TTL?
No. Gli stream non supportano dead letter exchange, TTL dei messaggi, limiti di lunghezza della coda, priorità né la dichiarazione esclusiva e non durevole. Le impostazioni di retention sostituiscono TTL e limiti di lunghezza.
Amazon MQ supporta gli stream di RabbitMQ?
No. La developer guide di Amazon MQ afferma che gli stream non sono supportati e che crearne uno provocherà una perdita di dati.