Voltar a todos os casos de utilização

CorreçãoTelecomunicações

Escalar o RabbitMQ para suportar uma grande frota de dispositivos ligados num líder mundial de telecomunicações

Líder mundial de telecomunicações

Resolução de falhas semanais do RabbitMQ, otimização para uma grande frota de dispositivos ligados e desenho de uma estratégia de escalamento horizontal.

Resolução de problemas de desempenho

Visão geral

A plataforma de IoT da empresa depende do RabbitMQ para tratar a mensageria de uma grande frota de dispositivos ligados, com planos de crescimento significativo. Falhas semanais por falta de memória e estrangulamentos de desempenho ameaçavam a estabilidade da plataforma e os planos de crescimento.

Desafio

Os nós do RabbitMQ falhavam todas as semanas devido a erros de falta de memória provocados por uma abordagem de escalamento vertical inadequada, por valores de prefetch count baixos (definidos como 1) e pela ausência de configurações de TTL nas filas. O bloqueio dos produtores causado por consumidores lentos gerava falhas em cascata. A equipa usava filas clássicas sem mirroring, o que a deixava vulnerável à perda de dados em caso de falha de um nó.

Ambiente

Implementação em Kubernetes, RabbitMQ a tratar um grande número de ligações de dispositivos, consumidores Spring Boot, planos de escalamento horizontal com monitorização em Prometheus/Grafana.

Abordagem

A AceMQ realizou uma intervenção intensiva de vários dias, com revisão do ambiente em produção, alterações de configuração em tempo real e otimização prática do desempenho. A equipa analisou as métricas, reviu a topologia e apresentou recomendações de arquitetura detalhadas para o escalamento.

Solução

  1. Recomendação de uma estratégia de escalamento horizontal (mais nós) em vez de escalamento vertical
  2. Aumento do prefetch count de 1 para 20, com uma melhoria drástica do débito dos consumidores
  3. Configuração de lazy queues para reduzir o bloqueio dos produtores, com escrita direta em disco
  4. Implementação de limites de memória por fila e de políticas de TTL para evitar falhas por falta de memória
  5. Aumento do high water mark de 0.7 para 0.9, para uma melhor utilização da memória
  6. Desenho de um percurso de migração de filas clássicas para filas de quórum, para alta disponibilidade
  7. Entrega de uma calculadora em Excel de requisitos de servidores para o planeamento de capacidade

Resultado final

O cliente recebeu alterações de configuração e um roteiro de escalamento com o objetivo de acabar com as falhas recorrentes do RabbitMQ e melhorar o débito dos consumidores, e dispõe de um caminho claro para acompanhar o crescimento do número de dispositivos.

Tecnologias

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

Tem um problema de produção com RabbitMQ?

Os engenheiros seniores de RabbitMQ da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.