Voltar para todos os casos de uso

AvaliaçãoAviação / tecnologia aeroportuária

Garantindo a confiabilidade da mensageria para sistemas de gestão de portões de aeroportos no mundo todo

Provedor global de tecnologia para aviação

Resolução de problemas de failover do cluster, tratamento de partições e falhas nas filas de quórum em um ambiente operacional de aviação de alto risco.

Análise de causa raiz em um cluster ativo

Visão geral

A empresa fornece sistemas de gestão de portões de aeroportos de missão crítica usados no mundo todo. A sua implantação de RabbitMQ no Kubernetes vinha apresentando falhas de publicação, problemas de failover do cluster e problemas de sincronização das filas de quórum que ameaçavam a disponibilidade do sistema.

Desafio

O RabbitMQ estava hospedado junto com o PostgreSQL em nós compartilhados do Kubernetes, o que causava disputa por recursos. A sincronização das filas de quórum falhava com armazenamento de 3.000 IOPS, e partições do cluster estavam causando bindings zumbis e falhas na publicação de mensagens. A equipe precisava fazer o upgrade para o RabbitMQ 4.2 mantendo a estabilidade nos ambientes Azure e VMware.

Ambiente

Clusters Kubernetes em Azure e VMware, RabbitMQ hospedado junto com o PostgreSQL, monitoramento com Prometheus/Grafana e aplicações cliente em C e Node.js.

Abordagem

A AceMQ conduziu uma avaliação intensiva de várias semanas, com sessões diárias, benchmarking de disco com FIO, análise dos logs de consenso RAFT e desenho de estratégias de isolamento da infraestrutura. A equipe entregou uma documentação abrangente cobrindo procedimentos de failover, monitoramento, backup/restore e federation.

Solução

  1. Separação do RabbitMQ e do PostgreSQL em nós dedicados, com armazenamento SSD isolado
  2. Recomendação de discos Premium SSD v2 para atingir a latência abaixo de um milissegundo exigida pelas filas de quórum
  3. Desenvolvimento de scripts automatizados de detecção e recuperação para filas de quórum travadas e bindings zumbis
  4. Configuração de métricas no Prometheus e de alertas no Grafana para o monitoramento proativo da saúde do cluster
  5. Entrega de um runbook abrangente para operações de failover, backup/restore e federation
  6. Condução do caminho de upgrade do RabbitMQ 3.x para o 4.2, com validação da estabilidade

Resultado obtido

O cliente alcançou uma operação estável do RabbitMQ no Kubernetes, com isolamento adequado de recursos, procedimentos de recuperação automatizados e monitoramento abrangente, garantindo uma mensageria confiável para sistemas aeroportuários no mundo todo.

Tecnologias

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Pronto para um health check do RabbitMQ?

Os engenheiros RabbitMQ sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.