Visão geral
A empresa fornece sistemas de gestão de portões de aeroportos de missão crítica usados no mundo todo. A sua implantação de RabbitMQ no Kubernetes vinha apresentando falhas de publicação, problemas de failover do cluster e problemas de sincronização das filas de quórum que ameaçavam a disponibilidade do sistema.
Desafio
O RabbitMQ estava hospedado junto com o PostgreSQL em nós compartilhados do Kubernetes, o que causava disputa por recursos. A sincronização das filas de quórum falhava com armazenamento de 3.000 IOPS, e partições do cluster estavam causando bindings zumbis e falhas na publicação de mensagens. A equipe precisava fazer o upgrade para o RabbitMQ 4.2 mantendo a estabilidade nos ambientes Azure e VMware.
Ambiente
Clusters Kubernetes em Azure e VMware, RabbitMQ hospedado junto com o PostgreSQL, monitoramento com Prometheus/Grafana e aplicações cliente em C e Node.js.
Abordagem
A AceMQ conduziu uma avaliação intensiva de várias semanas, com sessões diárias, benchmarking de disco com FIO, análise dos logs de consenso RAFT e desenho de estratégias de isolamento da infraestrutura. A equipe entregou uma documentação abrangente cobrindo procedimentos de failover, monitoramento, backup/restore e federation.
Solução
- Separação do RabbitMQ e do PostgreSQL em nós dedicados, com armazenamento SSD isolado
- Recomendação de discos Premium SSD v2 para atingir a latência abaixo de um milissegundo exigida pelas filas de quórum
- Desenvolvimento de scripts automatizados de detecção e recuperação para filas de quórum travadas e bindings zumbis
- Configuração de métricas no Prometheus e de alertas no Grafana para o monitoramento proativo da saúde do cluster
- Entrega de um runbook abrangente para operações de failover, backup/restore e federation
- Condução do caminho de upgrade do RabbitMQ 3.x para o 4.2, com validação da estabilidade
Resultado obtido
O cliente alcançou uma operação estável do RabbitMQ no Kubernetes, com isolamento adequado de recursos, procedimentos de recuperação automatizados e monitoramento abrangente, garantindo uma mensageria confiável para sistemas aeroportuários no mundo todo.