Voltar para todos os casos de uso

CorreçãoTelecomunicações

Escalando o RabbitMQ para suportar uma grande frota de dispositivos conectados de um líder global de telecomunicações

Líder global de telecomunicações

Eliminação de quedas semanais do RabbitMQ, otimização para uma grande frota de dispositivos conectados e desenho de uma estratégia de escalonamento horizontal.

Resolução de problemas de desempenho

Visão geral

A plataforma de IoT da empresa depende do RabbitMQ para cuidar da mensageria de uma grande frota de dispositivos conectados, com planos de crescimento significativo. Quedas semanais por falta de memória e gargalos de desempenho ameaçavam a estabilidade da plataforma e os planos de crescimento.

Desafio

Os nós do RabbitMQ caíam toda semana por erros de falta de memória causados por uma abordagem inadequada de escalonamento vertical, prefetch counts baixos (configurados em 1) e ausência de configuração de TTL nas filas. O bloqueio dos produtores por causa de consumidores lentos gerava falhas em cascata. A equipe usava filas clássicas sem espelhamento, o que a deixava vulnerável a perda de dados em falhas de nós.

Ambiente

Implantação em Kubernetes, RabbitMQ atendendo a um grande número de conexões de dispositivos, consumidores em Spring Boot e planos de escalonamento horizontal com monitoramento em Prometheus/Grafana.

Abordagem

A AceMQ conduziu uma correção intensiva de vários dias, com revisão do ambiente ao vivo, mudanças de configuração em tempo real e otimização de desempenho prática. A equipe analisou as métricas, revisou a topologia e entregou recomendações de arquitetura detalhadas para o escalonamento.

Solução

  1. Recomendação de uma estratégia de escalonamento horizontal (mais nós) em vez de escalonamento vertical
  2. Aumento do prefetch count de 1 para 20, melhorando drasticamente o throughput dos consumidores
  3. Configuração de lazy queues para reduzir o bloqueio dos produtores, com gravação direta em disco
  4. Implantação de limites de memória por fila e de policies de TTL para evitar quedas por falta de memória
  5. Aumento do high water mark de 0.7 para 0.9, para melhor aproveitamento da memória
  6. Desenho do caminho de migração de filas clássicas para filas de quórum (quorum queues), visando alta disponibilidade
  7. Entrega de uma calculadora de requisitos de servidor em Excel para o planejamento de capacidade

Resultado obtido

O cliente recebeu mudanças de configuração e um roadmap de escalonamento voltados a acabar com as quedas recorrentes do RabbitMQ e a melhorar o throughput dos consumidores, e tem um caminho claro para suportar o número crescente de dispositivos.

Tecnologias

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Enfrentando um problema de produção com RabbitMQ?

Os engenheiros RabbitMQ sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.