Voltar a todos os casos de utilização

AvaliaçãoAviação / Tecnologia aeroportuária

Garantir a fiabilidade da mensageria dos sistemas de gestão de portas de embarque em aeroportos de todo o mundo

Fornecedor mundial de tecnologia para a aviação

Resolução de problemas de failover do cluster, de tratamento de partições e de filas de quórum num ambiente operacional de aviação de alto risco.

Análise de causa raiz num cluster em produção

Visão geral

A empresa fornece sistemas críticos de gestão de portas de embarque usados em aeroportos de todo o mundo. A sua implementação de RabbitMQ em Kubernetes registava falhas de publicação, problemas de failover do cluster e problemas de sincronização das filas de quórum que ameaçavam a disponibilidade do sistema.

Desafio

O RabbitMQ estava instalado em conjunto com o PostgreSQL em nós Kubernetes partilhados, o que provocava contenção de recursos. A sincronização das filas de quórum falhava com armazenamento de 3000 IOPS, e as partições do cluster provocavam bindings zombie e falhas na publicação de mensagens. A equipa precisava de fazer upgrade para o RabbitMQ 4.2 mantendo a estabilidade nos ambientes Azure e VMware.

Ambiente

Clusters Kubernetes em Azure e VMware, RabbitMQ partilhando nós com o PostgreSQL, monitorização com Prometheus/Grafana, aplicações cliente em C e Node.js.

Abordagem

A AceMQ realizou uma avaliação intensiva de várias semanas, com sessões diárias, benchmarks de disco com FIO, análise dos logs de consenso RAFT e desenho de estratégias de isolamento da infraestrutura. A equipa entregou documentação completa sobre procedimentos de failover, monitorização, backup/restauro e federation.

Solução

  1. Separação do RabbitMQ e do PostgreSQL em nós dedicados com armazenamento SSD isolado
  2. Recomendação de discos Premium SSD V2 para obter a latência inferior a um milissegundo exigida pelas filas de quórum
  3. Desenvolvimento de scripts de deteção e recuperação automáticas para filas de quórum bloqueadas e bindings zombie
  4. Configuração de métricas Prometheus e de alertas Grafana para uma monitorização proativa da saúde do cluster
  5. Entrega de um runbook completo para operações de failover, backup/restauro e federation
  6. Acompanhamento do percurso de upgrade do RabbitMQ 3.x para a 4.2, com validação da estabilidade

Resultado final

O cliente obteve uma operação estável do RabbitMQ em Kubernetes, com um isolamento de recursos adequado, procedimentos de recuperação automáticos e monitorização completa — garantindo uma mensageria fiável para sistemas aeroportuários em todo o mundo.

Tecnologias

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Pronto para um health check ao RabbitMQ?

Os engenheiros seniores de RabbitMQ da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.