Visão geral
A empresa fornece sistemas críticos de gestão de portas de embarque usados em aeroportos de todo o mundo. A sua implementação de RabbitMQ em Kubernetes registava falhas de publicação, problemas de failover do cluster e problemas de sincronização das filas de quórum que ameaçavam a disponibilidade do sistema.
Desafio
O RabbitMQ estava instalado em conjunto com o PostgreSQL em nós Kubernetes partilhados, o que provocava contenção de recursos. A sincronização das filas de quórum falhava com armazenamento de 3000 IOPS, e as partições do cluster provocavam bindings zombie e falhas na publicação de mensagens. A equipa precisava de fazer upgrade para o RabbitMQ 4.2 mantendo a estabilidade nos ambientes Azure e VMware.
Ambiente
Clusters Kubernetes em Azure e VMware, RabbitMQ partilhando nós com o PostgreSQL, monitorização com Prometheus/Grafana, aplicações cliente em C e Node.js.
Abordagem
A AceMQ realizou uma avaliação intensiva de várias semanas, com sessões diárias, benchmarks de disco com FIO, análise dos logs de consenso RAFT e desenho de estratégias de isolamento da infraestrutura. A equipa entregou documentação completa sobre procedimentos de failover, monitorização, backup/restauro e federation.
Solução
- Separação do RabbitMQ e do PostgreSQL em nós dedicados com armazenamento SSD isolado
- Recomendação de discos Premium SSD V2 para obter a latência inferior a um milissegundo exigida pelas filas de quórum
- Desenvolvimento de scripts de deteção e recuperação automáticas para filas de quórum bloqueadas e bindings zombie
- Configuração de métricas Prometheus e de alertas Grafana para uma monitorização proativa da saúde do cluster
- Entrega de um runbook completo para operações de failover, backup/restauro e federation
- Acompanhamento do percurso de upgrade do RabbitMQ 3.x para a 4.2, com validação da estabilidade
Resultado final
O cliente obteve uma operação estável do RabbitMQ em Kubernetes, com um isolamento de recursos adequado, procedimentos de recuperação automáticos e monitorização completa — garantindo uma mensageria fiável para sistemas aeroportuários em todo o mundo.