Visão geral
A empresa opera uma plataforma global de pagamentos assente em microsserviços, com o RabbitMQ como espinha dorsal das mensagens. Com mais de 200 alterações em produção por semana e requisitos de disponibilidade rigorosos, qualquer instabilidade do RabbitMQ afeta diretamente o processamento de pagamentos.
Desafio
Uma falha de rede na AWS provocou bindings de mensagens incorretos e falhas de entrega entre zonas de disponibilidade. As mensagens estavam a ser encaminhadas de forma errada devido a falhas de comunicação entre AZs, o que causava processamento duplicado e falhas de entrega. A equipa tinha de migrar das classic mirrored queues para filas de quórum (quorum queues), para garantir a compatibilidade com o RabbitMQ 4.x, sem qualquer interrupção do serviço.
Ambiente
Implementação multi-AZ na AWS, RabbitMQ 3.13 com percurso de migração para o 4.1, arquitetura de microsserviços com Spring AMQP e orquestração com Kubernetes.
Abordagem
A AceMQ fez uma avaliação completa das definições do RabbitMQ em produção, identificou erros de políticas e de regex e entregou documentação de boas práticas para a utilização do AMQP com Spring Boot, abrangendo concorrência, bindings, políticas e tratamento de partições do cluster.
Solução
- Diagnóstico da causa raiz do impacto da falha de rede da AWS no comportamento de partição do cluster RabbitMQ
- Recomendação de passar o tratamento de partições de 'auto heal' para 'pause minority', para evitar perda de dados
- Implementação de publisher confirms e event listeners para a lógica de novas tentativas nos clientes Spring AMQP
- Desenho de uma estratégia de gestão dinâmica de filas para evitar fugas de recursos nos microsserviços
- Planeamento do percurso de migração das classic mirrored queues para filas de quórum no RabbitMQ 4.x
Resultado final
O cliente ganhou mais resiliência no RabbitMQ, com um tratamento adequado das partições, menor risco de perda de mensagens durante eventos de rede e um percurso de migração claro para filas de quórum, garantindo estabilidade a longo prazo.