Torna a tutti i casi d'uso

RemediationTelecomunicazioni

Scalare RabbitMQ per supportare un ampio parco di dispositivi connessi per un leader globale delle telecomunicazioni

Leader globale delle telecomunicazioni

Eliminazione dei crash settimanali di RabbitMQ, ottimizzazione per un ampio parco di dispositivi connessi e progettazione di una strategia di scalabilità orizzontale.

Troubleshooting delle prestazioni

Panoramica

La piattaforma IoT dell'azienda si affida a RabbitMQ per gestire la messaggistica di un ampio parco di dispositivi connessi, con piani di crescita significativa. Crash settimanali per esaurimento della memoria e colli di bottiglia nelle prestazioni minacciavano la stabilità della piattaforma e i piani di crescita.

Sfida

I nodi RabbitMQ andavano in crash ogni settimana per errori di out-of-memory causati da un approccio di scalabilità verticale inadeguato, da prefetch count troppo bassi (impostati a 1) e dall'assenza di configurazioni TTL sulle code. Il blocco dei producer dovuto a consumer lenti generava guasti a cascata. Il team usava code classiche senza mirroring, restando esposto alla perdita di dati in caso di guasto di un nodo.

Ambiente

Deployment su Kubernetes, RabbitMQ con un gran numero di connessioni di dispositivi, consumer Spring Boot, piani di scalabilità orizzontale con monitoraggio Prometheus/Grafana.

Approccio

AceMQ ha condotto un intervento intensivo di più giorni con revisione dell'ambiente live, modifiche alla configurazione in tempo reale e ottimizzazione delle prestazioni sul campo. Il team ha analizzato le metriche, rivisto la topologia e fornito raccomandazioni architetturali dettagliate per la scalabilità.

Soluzione

  1. Raccomandata una strategia di scalabilità orizzontale (più nodi) al posto di quella verticale
  2. Prefetch count aumentato da 1 a 20, con un netto miglioramento del throughput dei consumer
  3. Configurate lazy queue per ridurre il blocco dei producer, abilitando la scrittura diretta su disco
  4. Introdotti limiti di memoria per singola coda e policy TTL per prevenire i crash da OOM
  5. High water mark portata da 0.7 a 0.9 per un migliore utilizzo della memoria
  6. Progettato il percorso di migrazione dalle code classiche alle code quorum per l'alta disponibilità
  7. Fornito un calcolatore in Excel dei requisiti dei server per la pianificazione della capacità

Esito

Il cliente ha ricevuto modifiche di configurazione e una roadmap di scalabilità volte a porre fine ai crash ricorrenti di RabbitMQ e a migliorare il throughput dei consumer, e dispone di un percorso chiaro per sostenere la crescita del numero di dispositivi.

Tecnologie

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Avete un problema di produzione su RabbitMQ?

Gli ingegneri RabbitMQ senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.