Panoramica
La piattaforma IoT dell'azienda si affida a RabbitMQ per gestire la messaggistica di un ampio parco di dispositivi connessi, con piani di crescita significativa. Crash settimanali per esaurimento della memoria e colli di bottiglia nelle prestazioni minacciavano la stabilità della piattaforma e i piani di crescita.
Sfida
I nodi RabbitMQ andavano in crash ogni settimana per errori di out-of-memory causati da un approccio di scalabilità verticale inadeguato, da prefetch count troppo bassi (impostati a 1) e dall'assenza di configurazioni TTL sulle code. Il blocco dei producer dovuto a consumer lenti generava guasti a cascata. Il team usava code classiche senza mirroring, restando esposto alla perdita di dati in caso di guasto di un nodo.
Ambiente
Deployment su Kubernetes, RabbitMQ con un gran numero di connessioni di dispositivi, consumer Spring Boot, piani di scalabilità orizzontale con monitoraggio Prometheus/Grafana.
Approccio
AceMQ ha condotto un intervento intensivo di più giorni con revisione dell'ambiente live, modifiche alla configurazione in tempo reale e ottimizzazione delle prestazioni sul campo. Il team ha analizzato le metriche, rivisto la topologia e fornito raccomandazioni architetturali dettagliate per la scalabilità.
Soluzione
- Raccomandata una strategia di scalabilità orizzontale (più nodi) al posto di quella verticale
- Prefetch count aumentato da 1 a 20, con un netto miglioramento del throughput dei consumer
- Configurate lazy queue per ridurre il blocco dei producer, abilitando la scrittura diretta su disco
- Introdotti limiti di memoria per singola coda e policy TTL per prevenire i crash da OOM
- High water mark portata da 0.7 a 0.9 per un migliore utilizzo della memoria
- Progettato il percorso di migrazione dalle code classiche alle code quorum per l'alta disponibilità
- Fornito un calcolatore in Excel dei requisiti dei server per la pianificazione della capacità
Esito
Il cliente ha ricevuto modifiche di configurazione e una roadmap di scalabilità volte a porre fine ai crash ricorrenti di RabbitMQ e a migliorare il throughput dei consumer, e dispone di un percorso chiaro per sostenere la crescita del numero di dispositivi.