Panoramica
L'azienda gestisce una piattaforma di pagamento globale basata su microservizi, con RabbitMQ come dorsale di messaging. Con oltre 200 modifiche in produzione a settimana e requisiti di disponibilità rigorosi, qualsiasi instabilità di RabbitMQ si ripercuote direttamente sull'elaborazione dei pagamenti.
Sfida
Un'interruzione di rete in AWS ha provocato binding errati dei messaggi ed errori di consegna tra le availability zone. A causa dei problemi di comunicazione tra AZ i messaggi venivano instradati in modo errato, con elaborazioni duplicate e consegne non riuscite. Il team doveva migrare dalle classic mirrored queue alle code quorum (quorum queues) per la compatibilità con RabbitMQ 4.x, mantenendo l'operatività senza downtime.
Ambiente
Deployment AWS multi-AZ, RabbitMQ 3.13 con percorso di migrazione alla 4.1, architettura a microservizi Spring AMQP, orchestrazione Kubernetes.
Approccio
AceMQ ha eseguito una valutazione completa delle definizioni RabbitMQ di produzione, ha individuato errori nelle policy e nelle espressioni regolari e ha fornito documentazione sulle best practice per l'uso di Spring Boot AMQP, comprese concorrenza, binding, policy e gestione delle partizioni di cluster.
Soluzione
- Diagnosi della causa principale dell'impatto dell'interruzione di rete AWS sul comportamento del cluster RabbitMQ in caso di partizione
- Raccomandazione di passare dalla gestione delle partizioni 'auto heal' a 'pause minority' per evitare la perdita di dati
- Implementazione dei publisher confirms e di event listener per la logica di retry nei client Spring AMQP
- Progettazione di una strategia di gestione dinamica delle code per prevenire leak di risorse nei microservizi
- Pianificazione del percorso di migrazione dalle classic mirrored queue alle code quorum per RabbitMQ 4.x
Esito
Il cliente ha ottenuto una maggiore resilienza di RabbitMQ grazie a una corretta gestione delle partizioni, un rischio ridotto di perdita di messaggi durante gli eventi di rete e un percorso di migrazione chiaro verso le code quorum per una stabilità di lungo periodo.