BlogRabbitMQ

consumer_timeout di RabbitMQ: cosa fa e perché i consumer spariscono

Scott Sternloff

Di Scott Sternloff, Enterprise Architect senior

LinkedIn · Aggiornato il · 7 min di lettura

consumer_timeout di RabbitMQ: cosa fa e perché i consumer spariscono
On this page

consumer_timeout è il timeout di conferma della consegna di RabbitMQ. Se un consumer trattiene una consegna senza confermarla oltre il timeout, RabbitMQ chiude il canale di quel consumer con un'eccezione di canale PRECONDITION_FAILED e i messaggi non confermati tornano nella coda per essere riconsegnati. Il valore predefinito è 30 minuti. Da RabbitMQ 4.3 si applica solo alle quorum queue.

Riguarda solo i consumer in modalità di conferma manuale, l'impostazione abituale nei client AMQP 0-9-1 quando i messaggi non devono andare persi: il broker consegna un messaggio e attende che il consumer confermi i messaggi che ha finito di elaborare. Il timeout serve a intercettare i consumer che hanno preso un messaggio e poi si sono bloccati, così che il lavoro venga rimesso in coda anziché restare trattenuto per sempre. Intercetta però anche consumer perfettamente sani i cui job durano semplicemente più di 30 minuti, ed è qui che nasce gran parte della confusione: l'applicazione è in esecuzione, la connessione è aperta e il numero di consumer nella management UI è sceso silenziosamente a zero.

Come si presenta l'errore di timeout del consumer

Il broker registra la chiusura del canale con consumer tag, canale, coda e delivery tag. Il messaggio riportato nella documentazione di RabbitMQ è questo:

Consumer 'consumer-tag-998754663370' on channel 1 and queue 'qq.1' in vhost '/' has timed out
waiting for a consumer acknowledgement of a delivery with delivery tag = 10. Timeout used: 180000 ms.

Lato client arriva come eccezione di canale con PRECONDITION_FAILED. Poiché chiude il canale e non la connessione, la libreria client spesso resta connessa e non registra nulla di evidente, a meno che la chiusura del canale non venga gestita. La coda mostra di nuovo i messaggi come pronti, questi vengono riconsegnati con il flag redelivered impostato e il job lento può essere eseguito due volte.

Tre motivi per cui un consumer RabbitMQ smette di consumare

Il timeout è uno dei tre modi in cui un consumer smette di consumare senza che l'applicazione lo abbia chiesto. Nella management UI appaiono identici, ma richiedono soluzioni diverse:

  • Il timeout di conferma ha chiuso il canale. Compare la riga di log riportata sopra, la connessione resta attiva e il consumer non c'è più. Il lavoro è durato troppo, oppure il consumer si è bloccato.
  • Il broker ha cancellato il consumer. Quando una coda viene eliminata o il nodo che la ospita si guasta, RabbitMQ invia al client un basic.cancel asincrono. I client dichiarano la capability consumer_cancel_notify, come fanno per impostazione predefinita i client ufficiali di RabbitMQ, e la libreria client la notifica tramite una callback come handleCancel nel client Java. Se l'applicazione ignora quella callback, si ritrova con un canale senza alcun consumer.
  • La connessione si è interrotta. Un load balancer, un firewall o un gateway NAT ha chiuso una connessione TCP inattiva, oppure il processo client si è bloccato. Gli heartbeat lo rilevano: il valore predefinito suggerito è 60 secondi e, dopo due heartbeat mancati, il peer viene considerato irraggiungibile. In alternativa, i TCP keepalive possono svolgere la stessa funzione a livello di sistema operativo.

L'ordine delle verifiche è: prima il log del broker, poi le callback di chiusura del canale e di cancellazione del client, infine la rete. Il log del broker indica in pochi secondi quale dei tre casi si è verificato.

Configurazione di consumer_timeout: globale, per coda o disattivato

Il valore del timeout si imposta a livello globale nel file di configurazione di RabbitMQ, rabbitmq.conf, in millisecondi:

# one hour
consumer_timeout = 3600000

Per coda, da RabbitMQ 3.12, con una policy o un argomento della coda. La policy è lo strumento migliore perché si può modificare senza rifare il deploy dell'applicazione:

rabbitmqctl set_policy queue_consumer_timeout "with_delivery_timeout\.*" '{"consumer-timeout":3600000}' --apply-to quorum_queues

L'argomento della coda è x-consumer-timeout, impostato alla dichiarazione, anch'esso in millisecondi.

RabbitMQ valuta il timeout una volta al minuto, quindi i valori inferiori a un minuto non sono supportati e quelli inferiori a cinque minuti sono sconsigliati. È possibile disattivarlo in advanced.config impostando consumer_timeout a undefined, ma la documentazione raccomanda un valore elevato, qualche ora, anziché disattivarlo.

La novità di RabbitMQ 4.3: solo quorum queue

Da RabbitMQ 4.3 i timeout di conferma della consegna sono supportati solo dalle quorum queue. Ne derivano due conseguenze:

  • I consumer delle classic queue perdono la protezione. Un consumer che prende un messaggio da una classic queue e si blocca lo tratterrà finché il canale o la connessione non si chiude. Se contavate sul timeout per recuperare i consumer bloccati delle classic queue, servono invece timeout lato client o un monitoraggio dedicato.
  • Il passaggio alle quorum queue può attivarlo. Un carico che girava senza problemi su classic queue con job di un'ora può iniziare a registrare chiusure di canale PRECONDITION_FAILED dopo una migrazione alle quorum queue. Impostate un consumer-timeout per coda su quelle code come parte della migrazione, non dopo il primo incidente.

Le differenze più generali tra i tipi di coda sono descritte in migrare dalle classic queue alle quorum queue.

Come individuare i consumer bloccati prima che scatti il timeout

Un consumer che sta per raggiungere il timeout sembra sano dall'esterno: connesso, sottoscritto, con messaggi in transito. Tre verifiche lo rivelano in anticipo.

Messaggi non confermati che smettono di muoversi. Confrontate per ogni coda i messaggi pronti, quelli non confermati e il numero di consumer:

rabbitmqctl list_queues -p / name messages_ready messages_unacknowledged consumers consumer_utilisation

Una coda in cui messages_unacknowledged resta fermo mentre messages_ready cresce ha consumer che trattengono consegne senza portarle a termine. Un consumer_utilisation ben al di sotto di 1.0 su una coda con arretrato dice la stessa cosa dall'altro lato: la coda ha messaggi ma non riesce a consegnarli, perché i consumer hanno raggiunto il limite di prefetch.

Quali consumer li trattengono. rabbitmqctl list_consumers elenca ogni sottoscrizione con canale, consumer tag, eventuale attesa di conferme e limite di prefetch. Un consumer con un prefetch alto su una coda lenta è il primo sospettato.

Il numero di consumer nel tempo. In Prometheus, con le metriche per oggetto abilitate così che i valori siano riportati per coda e non aggregati, impostate alert su rabbitmq_queue_consumers che scende a zero sulle code che dovrebbero essere sempre consumate e su rabbitmq_queue_messages_unacked in aumento senza un corrispondente aumento dei tassi di consegna e di conferma. Questi due alert intercettano il timeout, una cancellazione avviata dal broker e una connessione interrotta, qualunque si verifichi per primo.

Come evitare il timeout dei consumer

Aumentare il timeout è la soluzione giusta solo quando il lavoro richiede davvero così tanto tempo. Il resto dipende dal comportamento del client:

  • Dimensionate il timeout per coda. Impostate consumer-timeout sulle code che trasportano job lunghi, con un margine superiore al tempo di elaborazione legittimo più lungo, e lasciate invariato il valore predefinito globale.
  • Tenete basso il prefetch per i lavori lenti. Ogni messaggio in prefetch è già una consegna che il timeout sta conteggiando. Con un prefetch di 50 e job che durano un minuto ciascuno, la 31ª consegna è trattenuta da oltre 30 minuti prima ancora che il consumer la inizi, e il canale viene chiuso al timeout predefinito. Vedere prefetch count di RabbitMQ.
  • Confermate sul canale che ha ricevuto la consegna, e in ogni percorso del codice, compreso quello delle eccezioni. Un ack mancante in un ramo di errore è la causa più comune di un consumer che trattiene consegne fino al timeout.
  • Gestite la chiusura del canale e le notifiche di cancellazione. In caso di chiusura del canale o di un basic.cancel, aprite un nuovo canale e sottoscrivetevi di nuovo. Il recupero automatico della connessione nelle librerie client ricollega le connessioni interrotte, ma non sempre copre la chiusura di un singolo canale o una cancellazione avviata dal broker.
  • Rendete l'elaborazione idempotente. Una consegna andata in timeout viene rimessa in coda e riconsegnata, quindi un job completato al 90 percento viene rieseguito. I messaggi che non potranno mai essere completati in tempo vanno in una dead letter queue, non in un ciclo di riconsegne; vedere dead letter queue in RabbitMQ.
  • Impostate alert sui messaggi non confermati e sul numero di consumer per coda, non solo sulla profondità della coda. Un numero di consumer pari a zero su una coda che dovrebbe averne sempre è il segnale più precoce di tutte e tre le modalità di guasto.

Questi schemi ricorrono regolarmente nei ticket di supporto RabbitMQ che gestiamo: consumer segnalati come scomparsi mentre l'applicazione è sana, dopo una migrazione alle quorum queue o una modifica dei limiti di memoria. Se vi serve un secondo parere su un cluster che si comporta così, il supporto RabbitMQ di AceMQ lo copre, e la guida al troubleshooting di RabbitMQ descrive il percorso diagnostico più ampio.

Fonti

Domande frequenti

Che cos'è il consumer_timeout in RabbitMQ?

È il timeout di conferma della consegna. Se un consumer trattiene una consegna senza confermarla oltre il timeout, RabbitMQ chiude il canale di quel consumer con un'eccezione di canale PRECONDITION_FAILED e i messaggi non confermati tornano nella coda. Il valore predefinito è 30 minuti.

Qual è il timeout predefinito dei consumer in RabbitMQ?

30 minuti (1.800.000 ms). RabbitMQ verifica una volta al minuto se applicarlo, quindi i valori inferiori a un minuto non sono supportati e quelli inferiori a cinque minuti sono sconsigliati.

Come si modifica il timeout dei consumer per una singola coda?

Da RabbitMQ 3.12, impostate la chiave consumer-timeout in una policy, oppure l'argomento x-consumer-timeout alla dichiarazione della coda. Entrambi sono espressi in millisecondi. Un valore per coda è più sicuro che aumentare il consumer_timeout globale per tutte le code del cluster.

Il consumer_timeout si applica alle classic queue in RabbitMQ 4.3?

No. Da RabbitMQ 4.3 i timeout di conferma della consegna sono supportati solo dalle quorum queue. Sulla 4.3 il broker non chiude più un consumer di una classic queue che trattiene una consegna a tempo indeterminato.

Si può disattivare il timeout dei consumer in RabbitMQ?

Sì, impostando consumer_timeout a undefined in advanced.config, ma la documentazione di RabbitMQ lo sconsiglia. Un valore elevato, per esempio qualche ora, mantiene la protezione senza interrompere i job lunghi.

Perché il numero di consumer RabbitMQ scende a zero mentre l'applicazione è in esecuzione?

Di solito per uno di tre motivi: il timeout di conferma della consegna ha chiuso il canale del consumer, il broker ha cancellato il consumer perché la sua coda è stata eliminata o è diventata non disponibile, oppure la connessione TCP si è interrotta ed è stata chiusa dopo heartbeat mancati. I client che non riaprono il canale e non si sottoscrivono di nuovo restano connessi ma non consumano nulla.

Scott Sternloff

Autore

Scott SternloffEnterprise Architect senior

Enterprise Architect senior di AceMQ. Firma qui gli articoli tecnici: architettura, clustering e migrazioni di RabbitMQ, Kafka e Redis.

Consulenza gratuita

Fate esaminare a un esperto il vostro cluster RabbitMQ

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci