Visão geral
A plataforma de IoT da empresa depende do RabbitMQ para tratar a mensageria de uma grande frota de dispositivos ligados, com planos de crescimento significativo. Falhas semanais por falta de memória e estrangulamentos de desempenho ameaçavam a estabilidade da plataforma e os planos de crescimento.
Desafio
Os nós do RabbitMQ falhavam todas as semanas devido a erros de falta de memória provocados por uma abordagem de escalamento vertical inadequada, por valores de prefetch count baixos (definidos como 1) e pela ausência de configurações de TTL nas filas. O bloqueio dos produtores causado por consumidores lentos gerava falhas em cascata. A equipa usava filas clássicas sem mirroring, o que a deixava vulnerável à perda de dados em caso de falha de um nó.
Ambiente
Implementação em Kubernetes, RabbitMQ a tratar um grande número de ligações de dispositivos, consumidores Spring Boot, planos de escalamento horizontal com monitorização em Prometheus/Grafana.
Abordagem
A AceMQ realizou uma intervenção intensiva de vários dias, com revisão do ambiente em produção, alterações de configuração em tempo real e otimização prática do desempenho. A equipa analisou as métricas, reviu a topologia e apresentou recomendações de arquitetura detalhadas para o escalamento.
Solução
- Recomendação de uma estratégia de escalamento horizontal (mais nós) em vez de escalamento vertical
- Aumento do prefetch count de 1 para 20, com uma melhoria drástica do débito dos consumidores
- Configuração de lazy queues para reduzir o bloqueio dos produtores, com escrita direta em disco
- Implementação de limites de memória por fila e de políticas de TTL para evitar falhas por falta de memória
- Aumento do high water mark de 0.7 para 0.9, para uma melhor utilização da memória
- Desenho de um percurso de migração de filas clássicas para filas de quórum, para alta disponibilidade
- Entrega de uma calculadora em Excel de requisitos de servidores para o planeamento de capacidade
Resultado final
O cliente recebeu alterações de configuração e um roteiro de escalamento com o objetivo de acabar com as falhas recorrentes do RabbitMQ e melhorar o débito dos consumidores, e dispõe de um caminho claro para acompanhar o crescimento do número de dispositivos.