BlogRabbitMQ

Le 5 cose da monitorare per garantire la salute di un cluster RabbitMQ su Kubernetes

Scott Sternloff

Di Scott Sternloff, Enterprise Architect senior

LinkedIn · Aggiornato il · 17 min di lettura

Le 5 cose da monitorare per garantire la salute di un cluster RabbitMQ su Kubernetes
On this page

Eseguire RabbitMQ su Kubernetes non è come eseguirlo su bare metal. I segnali di monitoraggio che contano su un cluster statico di tre VM non sono gli stessi che dicono se uno StatefulSet RabbitMQ è sano all'interno di un cluster Kubernetes che potreste non controllare del tutto. E le modalità di guasto sono diverse: eviction dei nodi, ripianificazione dei pod, contesa di I/O tra tenant condivisi e il modo specifico in cui il consenso Raft interagisce con lo stack di rete di Kubernetes possono causare disservizi che chi gestisce bare metal non incontra mai.

Abbiamo ormai affrontato abbastanza incidenti di questo tipo da avere chiaro il rapporto segnale/rumore di ciò che conta davvero. Se su un cluster RabbitMQ in Kubernetes si monitorano solo cinque cose, devono essere queste cinque. Sono le metriche che, nella nostra esperienza nei servizi finanziari, sulle piattaforme SaaS e nei deployment enterprise ad alto throughput, intercettano i guasti prima che diventino disservizi visibili ai clienti.

Perché il monitoraggio di RabbitMQ su Kubernetes è diverso

Un cluster RabbitMQ su bare metal o su VM dedicate ha un solo vero avversario: il proprio carico di lavoro. Un cluster RabbitMQ su Kubernetes ne ha diversi:

  • Risorse di calcolo condivise. A meno di aver dedicato dei nodi, i pod RabbitMQ competono per CPU, memoria e I/O su disco con qualsiasi altra cosa Kubernetes pianifichi accanto a loro.
  • Livelli di astrazione della rete. Lo stack di rete di Kubernetes aggiunge latenza tra pod, overhead della CNI e un livello di heartbeat con cui il consenso Raft deve condividere la banda.
  • Semantica degli StatefulSet. RabbitMQ su Kubernetes viene distribuito come StatefulSet dal Cluster Operator, e i pod di uno StatefulSet non vengono ripianificati automaticamente quando un nodo si guasta: un fatto che sorprende gli operatori nel momento peggiore possibile.
  • Accoppiamento con i persistent volume. Con storage local-path o locale al nodo, un pod ripianificato potrebbe non riuscire a recuperare il proprio stato precedente. Lo storage collegato in rete introduce una propria variabilità di I/O.

Ciascuno di questi fattori aggiunge una classe di guasti che sarebbe impossibile su un'infrastruttura dedicata. Il monitoraggio deve tenerne conto, tutti.

1. Salute della replica Raft sulle code quorum

Se si usano le code quorum (quorum queues), e nel 2026 su RabbitMQ 4.x si dovrebbe, la salute della replica Raft è la metrica più importante della dashboard. Se non l'avete ancora fatto, consultate la nostra guida alla migrazione alle code quorum. Le code quorum funzionano facendo partecipare un leader e dei follower al consenso Raft, scrivendo ogni messaggio su una maggioranza di nodi prima di dare conferma al publisher. Quando Raft si degrada, si degrada con esso tutto ciò che sta a valle.

Su Kubernetes in particolare, la pressione su Raft si accumula in fretta. Il protocollo di consenso richiede comunicazioni affidabili e a bassa latenza tra i nodi, prestazioni di scrittura su disco costanti e abbastanza margine di CPU per elaborare le voci del log. Quando uno di questi vincoli si stringe, e su Kubernetes succede più spesso che su bare metal, Raft inizia a restare indietro e le code iniziano a non rispondere.

Che cosa monitorare davvero

  • rabbitmq_queue_messages suddiviso per stato leader e follower.
  • rabbitmq_raft_log_commit_index e rabbitmq_raft_log_last_applied: la differenza tra i due è il vostro ritardo Raft.
  • Frequenza delle elezioni del leader. Un cluster sano ha leader stabili; se i leader cambiano continuamente, qualcosa a monte (rete, disco, CPU) non è in salute.
  • Stato Raft per singola coda tramite la management API: stato dei follower, indice dello snapshot, uso del disco.

Soglie di allarme

Generare un alert se il log Raft di un follower è indietro rispetto al leader di più di qualche migliaio di voci per più di 30 secondi. Generare un alert se le elezioni del leader avvengono più di una volta all'ora su un cluster stabile. E generare un alert immediato se una coda quorum ha perso il quorum: il broker lo segnala nelle sue metriche, ed è un'informazione che serve entro pochi secondi, non minuti.

Perché su Kubernetes conta di più

Su Kubernetes è del tutto possibile che Raft finisca in uno stato in cui la coda diventa inutilizzabile e le procedure di ripristino standard non funzionano in modo pulito. Uno schema che abbiamo visto in produzione: una coda quorum si blocca, rabbitmqctl delete_queue fallisce perché il broker non riesce a raggiungere il consenso per eliminarla, e per ripristinare il servizio occorre terminare i pod in un ordine preciso per forzare una nuova elezione del leader. Non è una condizione da scoprire tramite i reclami dei clienti. Il ritardo Raft in crescita va visto 10 minuti prima.

2. Watermark della memoria e stato del flow control

RabbitMQ ha un meccanismo di protezione integrato chiamato memory high-watermark. Quando l'uso di memoria di un broker supera la soglia della watermark, RabbitMQ blocca i publisher per evitare che il nodo esaurisca completamente la memoria. È voluto, si tratta di una protezione, ma su Kubernetes le impostazioni predefinite della watermark sono spesso sbagliate.

Il parere dell'esperto: tuning della watermark specifico per Kubernetes

«Su Kubernetes il test va fatto con una watermark al 40% e un net tick time di 60. Lasciamo più spazio a Raft per fare il suo lavoro, più altro spazio per la rete. La rete di RabbitMQ non è solo quella tra i nodi: c'è anche la rete di Kubernetes e ci sono gli heartbeat dei pod. Si compete per le risorse.»— Felipe Gutierrez, Senior Engineer, AceMQ

La watermark predefinita della memoria di RabbitMQ a 0,4 (40%) esiste perché su Kubernetes il broker non è l'unico a usare memoria sul pod o sul nodo. Il kubelet di Kubernetes, il plugin CNI, il container runtime e gli eventuali sidecar consumano tutti memoria, e Raft e il broker hanno bisogno di margine attorno a essa. Una watermark sensata su una VM dedicata spesso va abbassata su Kubernetes per preservare abbastanza margine per le operazioni Raft e per la rete tra pod.

Che cosa monitorare davvero

  • rabbitmq_resident_memory_limit_bytes e rabbitmq_process_resident_memory_bytes: il rapporto tra i due è il vostro utilizzo attuale della watermark.
  • rabbitmq_connections_blocked_total: quante connessioni di publisher RabbitMQ sta bloccando attivamente.
  • Stato del flow control per connessione. Se i producer entrano in flow control, c'è un problema di pressione da qualche parte nella pipeline: come primo passo, verificate il tuning del prefetch dei consumer.
  • Uso di memoria del pod Kubernetes rispetto al limite di memoria del pod: raggiungere il limite del pod significa essere terminati per OOM (OOMKilled), un guasto molto peggiore che raggiungere la watermark di RabbitMQ.

Soglie di allarme

Generare un alert all'80% della watermark configurata: a quel punto si è vicini al blocco dei publisher. Generare un alert immediato su qualsiasi connessione bloccata. E generare un alert al 90% del limite di memoria del pod Kubernetes: è l'ultimo avviso prima che il kubelet termini il pod.

3. Contesa di I/O su disco e latenza di scrittura

È la metrica su cui Kubernetes morde più forte. Le code quorum di RabbitMQ sono per progettazione molto intensive sul disco: ogni scrittura passa dal log Raft prima di essere confermata. Se lo storage sottostante è lento, variabile o conteso, ogni producer del sistema ne risente.

Su Kubernetes, il quadro delle prestazioni del disco è complicato da una modalità di guasto specifica che vediamo ripetersi: RabbitMQ che condivide un nodo con un altro carico di lavoro pesante in I/O, tipicamente PostgreSQL, Kafka o Elasticsearch. Quando il carico vicino ha un picco, le scritture del log Raft di RabbitMQ rallentano, il ritardo dei follower cresce, i leader vengono rieletti e il cluster sembra degradarsi misteriosamente per ragioni che l'operatore non riesce a ricostruire subito.

Il parere dell'esperto: lo schema della contesa di I/O

«Se state ancora competendo con Postgres sullo stesso nodo: Raft non è solo memoria e quorum, richiede anche il disco. Se nello stesso momento Postgres è molto sollecitato, si arriva alla stessa discussione che sto facendo con voi. Dovreste separarli, o almeno ridurre il numero di nodi RabbitMQ per non competere per le risorse.»— Felipe Gutierrez, Senior Engineer, AceMQ

Che cosa monitorare davvero

  • rabbitmq_io_write_time_seconds_total e rabbitmq_io_write_bytes_total: l'andamento della latenza di scrittura è il vostro primo campanello d'allarme.
  • Istogrammi della latenza di scrittura su disco a livello di nodo (forniti dal node_exporter di Kubernetes).
  • IOPS consumati dai pod RabbitMQ rispetto agli IOPS consumati da tutto il resto sullo stesso nodo.
  • Profondità della coda del disco: se resta costantemente sopra 1–2, si sta aspettando il disco.
  • Velocità di riempimento dei persistent volume: l'uso del disco delle code quorum cresce con il volume dei messaggi e con la retention del log.

Soglie di allarme

Generare un alert se la latenza di scrittura su disco al p99 supera i 50ms su qualsiasi nodo RabbitMQ. Generare un alert se l'utilizzo dei persistent volume supera il 75%. E generare un alert se la profondità della coda del disco resta sopra 2 per più di un minuto.

Raccomandazione architetturale

Ove possibile, dedicare nodi Kubernetes a RabbitMQ usando taint e toleration. Eseguire i carichi stateful pesanti in I/O su un proprio node pool. Se non è fattibile, usare persistent volume separati su dischi fisici separati per RabbitMQ e per i carichi vicini: il costo di un disco aggiuntivo è irrisorio rispetto al costo di un disservizio in produzione causato dalla contesa di I/O.

4. Scheduling dei pod, numero di riavvii e comportamento degli StatefulSet

Ecco l'insidia specifica di Kubernetes che coglie gli operatori alla sprovvista: RabbitMQ viene distribuito come StatefulSet dal Cluster Operator ufficiale, e i pod di uno StatefulSet non vengono ripianificati automaticamente su un altro nodo quando il nodo corrente si guasta. È voluto, perché lo StatefulSet fornisce identità e storage stabili, ma la conseguenza operativa è che il guasto di un nodo può lasciare un pod RabbitMQ offline per tutto il tempo in cui il nodo resta giù.

Non è una preoccupazione teorica. Abbiamo accompagnato clienti in incidenti in cui un nodo Kubernetes è andato giù, il pod dello StatefulSet RabbitMQ è rimasto bloccato e l'applicazione ha subito un'indisponibilità prolungata perché l'operatore si aspettava una ripianificazione automatica che Kubernetes semplicemente non prevede per gli StatefulSet.

Che cosa monitorare davvero

  • Numero di riavvii per ogni pod RabbitMQ, tracciato nel tempo. Un pod con più di 10 riavvii in un giorno sta cercando di dirvi qualcosa.
  • Stato di scheduling dei pod: in particolare, qualsiasi pod RabbitMQ in Pending, Unschedulable o ContainerCreating per più di 60 secondi.
  • Stato dei nodi che ospitano pod RabbitMQ. Un nodo NotReady è un conto alla rovescia verso l'interruzione di un pod.
  • Readiness dello StatefulSet: quante delle repliche desiderate sono attualmente Ready.
  • Tassi di fallimento delle liveness e readiness probe. I fallimenti delle probe sotto carico di solito indicano che il broker è sovraccarico prima ancora che ceda del tutto.

Soglie di allarme

Generare un alert immediato se le repliche di uno StatefulSet RabbitMQ scendono sotto il numero desiderato. Generare un alert su qualsiasi riavvio di pod. Generare un alert se un nodo che ospita un pod RabbitMQ passa a NotReady. Sono tutte condizioni su cui si può agire: serve una persona che le esamini, non un meccanismo di auto-riparazione che sugli StatefulSet potrebbe funzionare oppure no.

Nota architetturale

Se serve un ripristino automatico dal guasto di un nodo più rapido di quello offerto dal comportamento predefinito degli StatefulSet, ci sono alcune opzioni: usare pod disruption budget combinati con l'automazione del drain dei nodi, distribuire RabbitMQ su più availability zone di Kubernetes in modo che il guasto di una zona non abbatta il cluster, oppure, in alcuni casi, eseguire il broker su VM dedicate del tutto al di fuori di Kubernetes. La scelta giusta dipende dal vostro recovery time objective e dalla maturità operativa del vostro team su Kubernetes.

5. Heartbeat di rete e latenza tra nodi

I nodi RabbitMQ mantengono tra loro una comunicazione Erlang distribuita, e la salute di questa comunicazione determina se il cluster resta un cluster. Su Kubernetes, il livello di rete introduce un'ulteriore variabilità di latenza che può causare falsi positivi di guasto dei nodi: il broker crede che un peer sia giù perché un heartbeat ha mancato la sua finestra, quando in realtà la CNI di Kubernetes era solo momentaneamente lenta.

Il net_ticktime predefinito di Erlang di 60 secondi è spesso troppo aggressivo per gli ambienti Kubernetes, in particolare quelli con reti overlay o traffico tra zone. Regolarlo è una delle prime cose che facciamo quando prepariamo un cluster RabbitMQ su Kubernetes per la produzione.

Che cosa monitorare davvero

  • Eventi di partizione di rete: RabbitMQ li registra nei log e devono generare subito un alert.
  • Latenza tra i pod RabbitMQ (misurabile con un semplice sidecar di ping o con le metriche del service mesh).
  • Utilizzo del buffer di distribuzione Erlang: rabbitmq_erlang_distribution_buffer_busy indica quando la comunicazione tra nodi si sta intasando.
  • Distribuzione degli stati delle connessioni TCP a livello di nodo. Un numero crescente di connessioni in TIME_WAIT o CLOSE_WAIT può indicare problemi di rete in arrivo.
  • Metriche a livello di CNI, se disponibili (Calico, Cilium, ecc.): i pacchetti persi tra pod RabbitMQ sono un campanello d'allarme.

Soglie di allarme

Generare un alert su qualsiasi evento di partizione di rete. Generare un alert se la latenza tra pod RabbitMQ al p99 supera i 10ms. Generare un alert se l'utilizzo del buffer di distribuzione Erlang supera il 50%.

Raccomandazione di tuning

Su Kubernetes, aumentare net_ticktime dai 60 secondi predefiniti a 120 secondi come base di partenza. Questo dà più respiro al livello CNI e riduce drasticamente i falsi positivi di partizione del cluster in presenza del normale jitter di rete. Tick time più lunghi significano un rilevamento leggermente più lento dei nodi realmente guasti, ma negli ambienti Kubernetes il compromesso è nettamente a favore della stabilità.

Mettere tutto insieme: la vostra filosofia di alerting

Monitorare queste cinque aree non significa creare più alert, ma creare gli alert giusti. Nella nostra esperienza, gli operatori che ricevono meno chiamate non sono quelli che monitorano meno, ma quelli che monitorano le cose giuste con le soglie giuste.

Una suddivisione in livelli sensata per un cluster RabbitMQ su Kubernetes:

  • P1 (chiamata immediata): Quorum perso su qualsiasi coda. Nodo NotReady. Repliche dello StatefulSet sotto il numero desiderato. Qualsiasi connessione di publisher bloccata. Partizione di rete rilevata.
  • P2 (chiamata in orario lavorativo): Ritardo dei follower Raft in crescita costante. Watermark della memoria sopra l'80%. Latenza del disco al p99 sopra i 50ms. Riavvio di un pod. Elezioni del leader ripetute.
  • P3 (solo dashboard, revisione settimanale): Andamento della capacità. Velocità di riempimento del disco. Crescita del numero di connessioni. Crescita della profondità delle code.

Tutto il resto è rumore. Se il turno di reperibilità riceve chiamate per cose che non rientrano in P1 o P2, gli alert non sono allineati con ciò che conta davvero.

In pratica

Kubernetes è un'ottima piattaforma per RabbitMQ, a patto di monitorare ciò che Kubernetes rende diverso. I modelli mentali del monitoraggio su bare metal non si trasferiscono in modo pulito. Le cinque categorie di metriche descritte sopra sono quelle che monitoriamo in ogni progetto RabbitMQ su Kubernetes che supportiamo, e sono quelle che raccomandiamo a ogni team che esegue RabbitMQ su Kubernetes di strumentare fin dal primo giorno.

Se ereditate un cluster RabbitMQ su Kubernetes e volete valutarne rapidamente il livello di monitoraggio, verificate questi cinque punti in ordine:

  • La salute della replica Raft è visibile per singola coda? Se no, sul quorum state volando alla cieca.
  • La watermark della memoria è impostata per Kubernetes (più vicina a 0,4 che a 0,8)? Se no, siete a un picco di traffico dal blocco dei publisher.
  • La latenza del disco per ogni nodo RabbitMQ è monitorata e collegata ad alert? Se no, non potrete diagnosticare la contesa di I/O quando colpirà.
  • Il numero di repliche dello StatefulSet e lo stato di scheduling dei pod hanno degli alert? Se no, il guasto di un nodo vi coglierà di sorpresa.
  • Il net_ticktime è regolato per il vostro ambiente Kubernetes? Se è ancora quello predefinito, state ricevendo falsi positivi di partizione.

Qualsiasi cluster che risponda «no» a due o più di queste domande è a un incidente operativo di distanza dallo scoprire esattamente perché la risposta doveva essere «sì».

La checklist di monitoraggio di RabbitMQ per gli SRE

Se di questo articolo leggete una sola sezione, leggete questa. Tutto ciò che precede spiega perché ogni segnale è importante; questa è la lista da inserire nel runbook. Abilitare il plugin rabbitmq_prometheus (integrato dalla 3.8), raccogliere le metriche da ogni nodo e importare le dashboard Grafana ufficiali. Poi tenere d'occhio quattro gruppi di metriche.

Cluster. Tutti i nodi che rispondono (up su ogni target di scrape), nessuna partizione (l'health check della management API o rabbitmqctl cluster_status, vedere la sezione sulle partizioni di rete più sopra), stabilità del leader Raft sulle code quorum (rabbitmq_raft_term_total dovrebbe restare piatto; un term in crescita significa che stanno avvenendo elezioni) ed entrambi gli allarmi di risorse spenti (rabbitmq_alarms_memory_used_watermark e rabbitmq_alarms_free_disk_space_watermark dovrebbero valere 0). Tenere traccia anche del margine effettivo: rabbitmq_disk_space_available_bytes e rabbitmq_process_resident_memory_bytes rispetto a rabbitmq_resident_memory_limit_bytes.

Code. Profondità (rabbitmq_queue_messages_ready), messaggi non confermati (rabbitmq_queue_messages_unacked), numero di consumer (rabbitmq_queue_consumers) e utilizzo dei consumer (rabbitmq_queue_consumer_utilisation, dove un valore basso significa che i consumer sono inattivi in attesa del broker e un valore vicino a 1 significa che è il broker ad aspettare i consumer), tasso di riconsegna (rabbitmq_queue_messages_redelivered_total) e tasso di dead-letter. La profondità da sola non è un problema; lo è una profondità che continua a salire mentre il numero di consumer resta stabile.

Throughput e latenza. Tassi di publish e deliver (rabbitmq_queue_messages_published_total e rabbitmq_queue_messages_delivered_total, calcolati come rate su una finestra temporale) e latenza dei publisher confirm. Il broker non esporta direttamente la latenza dei confirm, quindi va misurata nell'applicazione che pubblica o con un publisher canary. Un divario tra tasso di publish e tasso di deliver che non si chiude è il primo segnale di capacità che otterrete.

Piattaforma. Riavvii dei pod (kube_pod_container_status_restarts_total per lo StatefulSet RabbitMQ), latenza dei persistent volume dalla storage class o dal node exporter, e throttling della CPU (container_cpu_cfs_throttled_periods_total rispetto a container_cpu_cfs_periods_total). Un throttling superiore a qualche punto percentuale su un pod del broker si manifesta come latenza dei confirm molto prima che qualcosa in RabbitMQ sembri anomalo. Le sezioni sullo scheduling dei pod e sull'I/O su disco più sopra ne spiegano i meccanismi.

Gli otto alert che consideriamo obbligatori, con le soglie di partenza. Regolateli sul vostro carico di lavoro; l'obiettivo è avere un warning prima della chiamata.

MetricaWarningChiamata (page)
Nodo giù (up == 0)1 nodo per 2 min2 o più nodi, oppure 1 nodo per 10 min
Partizione di rete rilevataqualsiasi, immediatamentequalsiasi che duri 5 min
Rate di rabbitmq_raft_term_totalpiù di 1 elezione in 10 minpiù di 3 in 10 min
rabbitmq_alarms_memory_used_watermarkmemoria sopra il 70% del limiteallarme attivo (publisher bloccati)
rabbitmq_disk_space_available_bytesmeno del 20% liberosotto 2 × il limite di spazio libero su disco
rabbitmq_queue_messages_readyin crescita per 15 minsopra la profondità massima concordata per 5 min
rabbitmq_queue_consumer_utilisationsotto 0,6 per 10 minsotto 0,3 con profondità in crescita
Riavvii dei pod1 in 1 ora3 in 1 ora, oppure CrashLoopBackOff

Due aspetti che questa tabella non copre. Primo, un aumento dei messaggi unacked con un numero di consumer stabile di solito significa che un consumer è bloccato o che il prefetch è troppo alto; impostare l'alert per ogni coda critica anziché a livello globale. Secondo, il tasso di dead-letter dipende dal carico di lavoro, quindi l'alert va impostato su uno scostamento dalla baseline anziché su un valore fisso.

Collegare il livello di warning a un canale che qualcuno legge durante il giorno e il livello di page alla reperibilità. Se state costruendo il cluster da zero, il nostro playbook di deployment su Kubernetes copre le resource request, le storage class e le regole di anti-affinity che tengono silenziosa la maggior parte di questi alert. Quando uno di essi scatta comunque, la guida al troubleshooting associa ogni sintomo a una soluzione.

Vi serve aiuto per rafforzare il vostro cluster RabbitMQ su Kubernetes?

AceMQ gestisce RabbitMQ in produzione su Kubernetes per clienti enterprise nei servizi finanziari, nel SaaS, nella sanità e in realtà Fortune 1000. Costruiamo lo stack di monitoraggio, ottimizziamo il broker per le modalità di guasto specifiche di Kubernetes, validiamo le vostre procedure di failover e restiamo a disposizione con un contratto continuativo anche in produzione, per gestire gli incidenti che sperate di non vedere mai.

Se il vostro team fatica con la stabilità di RabbitMQ su Kubernetes, o sta pianificando un nuovo deployment su Kubernetes e vuole impostare correttamente il monitoraggio fin dall'inizio, parlate con il nostro team di una valutazione dello stato di salute di RabbitMQ. Analizzeremo il vostro attuale livello di monitoraggio, individueremo le lacune e prepareremo un piano per colmarle. Se vi serve supporto commerciale RabbitMQ o consulenza RabbitMQ, è esattamente ciò che facciamo.

Domande frequenti

Come dovrebbero monitorare i cluster RabbitMQ gli SRE?

Abilitare il plugin rabbitmq_prometheus su ogni nodo, raccoglierne le metriche insieme a kube-state-metrics e cAdvisor e importare le dashboard Grafana ufficiali. Impostare alert su quattro gruppi: salute del cluster (nodi attivi, partizioni, cambi di term Raft, allarmi di memoria e disco), salute delle code (messaggi ready e unacked, numero e utilizzo dei consumer, riconsegne), throughput (tasso di publish rispetto a quello di deliver, latenza dei confirm misurata sul publisher) e salute della piattaforma (riavvii dei pod, latenza dei PV, throttling della CPU). Usare un livello di warning che finisce in un canale e un livello di page che va alla reperibilità. La tabella qui sopra riporta le soglie di partenza per gli otto alert che consideriamo obbligatori.

Quali metriche di RabbitMQ segnalano problemi di capacità?

Il primo segnale è un tasso di publish che supera stabilmente quello di deliver. Poi viene rabbitmq_queue_messages_ready in crescita mentre rabbitmq_queue_consumers resta stabile, il che significa che servono più consumer o consumer più veloci. rabbitmq_queue_consumer_utilisation vicino a 1 indica che il collo di bottiglia sono i consumer; vicino a 0 indica che è il broker. Sul lato broker, la memoria residente che sale verso rabbitmq_resident_memory_limit_bytes, il calo di rabbitmq_disk_space_available_bytes e il throttling della CPU sul pod indicano tutti un nodo sottodimensionato. Se scattano gli allarmi di memoria o di disco, la capacità è già esaurita e i publisher vengono bloccati.

Che cosa rende instabile un cluster RabbitMQ?

Nella nostra esperienza le cause sono, più o meno in quest'ordine: partizioni di rete dovute alla pressione sui nodi o a pod disruption budget configurati male; allarmi di memoria innescati da code profonde o da un numero di connessioni senza limiti; contesa sul disco su persistent volume condivisi, che rallenta le scritture Raft al punto da innescare elezioni del leader; pod di StatefulSet ripianificati su nodi dove il loro volume non può seguirli; e disallineamento di versione tra nodi durante un rolling upgrade. Quasi tutte si manifestano per prime come un aumento di rabbitmq_raft_term_total o come un riavvio di pod, ed è per questo che questi due alert sono in cima alla tabella. Ogni causa ha la propria sezione più sopra.

Serve un monitoraggio commerciale per RabbitMQ?

No. Il plugin rabbitmq_prometheus, Prometheus e le dashboard Grafana ufficiali sono gratuiti, ben mantenuti e sufficienti per la maggior parte degli ambienti, anche di grandi dimensioni. Quello che non offrono è una persona che li legga alle 3 di notte, sappia quale degli otto alert è quello vero quando ne scattano tre insieme e abbia già risolto il problema sulla vostra versione. È questo che aggiunge un contratto di supporto. Copriamo dalla 3.8.x alla 4.x con obiettivi di risposta da 15 minuti, in base al piano, quindi il valore sta nella risposta, non nelle dashboard. Mantenete il vostro monitoraggio; coinvolgeteci per l'interpretazione e la soluzione.

Il monitoraggio è il sesto degli otto passaggi della guida a RabbitMQ su Kubernetes, che affronta in ordine l'Operator, lo storage, la rete, request e limit e i rolling update.

Scott Sternloff

Autore

Scott SternloffEnterprise Architect senior

Enterprise Architect senior di AceMQ. Firma qui gli articoli tecnici: architettura, clustering e migrazioni di RabbitMQ, Kafka e Redis.

Talk to an engineer

Need a hand with RabbitMQ?

Senior engineers who run it in production. Get a quote or a free consultation, no sales pitch.

Consulenza gratuita

Fate esaminare a un esperto il vostro cluster RabbitMQ

Che stiate risolvendo un incidente in produzione, pianificando una migrazione o cercando un secondo parere sulla vostra architettura, il nostro team è pronto. Nessun discorso commerciale, solo risposte.

Scriveteci