Panoramica
L'azienda fornisce sistemi mission-critical di gestione dei gate aeroportuali utilizzati in tutto il mondo. Il suo deployment RabbitMQ su Kubernetes presentava errori di pubblicazione, problemi di failover del cluster e problemi di sincronizzazione delle code quorum che minacciavano la disponibilità del sistema.
Sfida
RabbitMQ condivideva i nodi Kubernetes con PostgreSQL, con conseguente contesa sulle risorse. La sincronizzazione delle code quorum falliva su uno storage da 3.000 IOPS, e le partizioni del cluster causavano binding zombie ed errori nella pubblicazione dei messaggi. Il team doveva aggiornare a RabbitMQ 4.2 mantenendo la stabilità negli ambienti Azure e VMware.
Ambiente
Cluster Kubernetes su Azure e VMware, RabbitMQ sugli stessi nodi di PostgreSQL, monitoraggio Prometheus/Grafana, applicazioni client in C e Node.js.
Approccio
AceMQ ha condotto un assessment intensivo di più settimane con sessioni quotidiane, eseguendo benchmark dei dischi con FIO, analizzando i log del consenso RAFT e progettando strategie di isolamento dell'infrastruttura. Il team ha fornito una documentazione completa su procedure di failover, monitoraggio, backup/restore e federation.
Soluzione
- Separazione di RabbitMQ da PostgreSQL su nodi dedicati con storage SSD isolato
- Raccomandati dischi Premium SSD v2 per ottenere la latenza inferiore al millisecondo richiesta dalle code quorum
- Sviluppati script automatici di rilevamento e ripristino per code quorum bloccate e binding zombie
- Configurate metriche Prometheus e alerting Grafana per un monitoraggio proattivo dello stato del cluster
- Consegnato un runbook completo per failover, backup/restore e operazioni di federation
- Guidato il percorso di aggiornamento da RabbitMQ 3.x a 4.2 con validazione della stabilità
Esito
Il cliente ha ottenuto un esercizio stabile di RabbitMQ su Kubernetes, con un corretto isolamento delle risorse, procedure di ripristino automatizzate e un monitoraggio completo, garantendo una messaggistica affidabile per i sistemi aeroportuali in tutto il mondo.