Panoramica
L'azienda gestisce servizi di scambio di pagamenti con RabbitMQ integrato con BizTalk e Dynamics 365. La gestione manuale delle code di errore assorbiva una quantità significativa di tempo del personale, con più interventi al giorno per sbloccare i messaggi bloccati.
Sfida
I colli di bottiglia a valle nei servizi BizTalk e D365 generavano errori 400 bad request che inondavano le code di errore, rendendo necessario un intervento manuale più volte al giorno. In assenza di una logica di retry automatica e di una gestione della dead-letter, il personale passava ore a svuotare le code di errore invece di concentrarsi sulle attività di business. A questo si aggiungevano gestione dello spazio su disco e rotazione dei log, fonti di instabilità operativa.
Ambiente
Deployment RabbitMQ su Windows, livello di integrazione BizTalk, Dynamics 365, IBM MQ per le operazioni Connect Direct, più ambienti di produzione.
Approccio
AceMQ ha condotto un assessment completo che ha individuato gli interventi correttivi a priorità critica e media. Il team ha implementato strategie di retry automatiche basate sui dead-letter exchange di RabbitMQ e sul plugin Shovel, intervenendo al tempo stesso su aspetti operativi come la rotazione dei log e gli alert sullo spazio su disco.
Soluzione
- Implementazione di una policy di dead-letter RabbitMQ con numero di retry configurabile e dead-letter exchange
- Configurazione del plugin Shovel per il retry automatico dei messaggi dalle code di errore
- Strategia di retry basata su nack con meccanismi di ritardo per alleggerire la pressione sui sistemi a valle
- Rotazione dei log con conservazione di 10 file compressi e alert sullo spazio su disco con soglia a 2GB
- Monitoraggio delle metriche dei consumer per rilevare la back-pressure
- Archivio storico della dead-letter per l'analisi post-incidente
Esito
Il cliente ha ridotto drasticamente gli interventi manuali sulle code di errore, passati da operazioni quotidiane ripetute a rare eccezioni. La gestione automatica dei retry e un monitoraggio migliorato segnalano in anticipo i problemi a valle, prima che abbiano impatto sull'operatività.