Descripción general
La plataforma IoT de la empresa depende de RabbitMQ para gestionar la mensajería de una gran flota de dispositivos conectados, con previsión de un crecimiento importante. Las caídas semanales por falta de memoria y los cuellos de botella de rendimiento ponían en peligro la estabilidad de la plataforma y los planes de crecimiento.
Reto
Los nodos de RabbitMQ se caían cada semana por errores de falta de memoria, provocados por un enfoque de escalado vertical inadecuado, valores de prefetch count muy bajos (fijados en 1) y la ausencia de TTL configurado en las colas. El bloqueo de los productores a causa de consumidores lentos generaba fallos en cascada. El equipo utilizaba colas clásicas sin mirroring, lo que lo dejaba expuesto a pérdidas de datos si caía un nodo.
Entorno
Despliegue en Kubernetes, RabbitMQ gestionando un elevado número de conexiones de dispositivos, consumidores en Spring Boot y planes de escalado horizontal con monitorización en Prometheus/Grafana.
Enfoque
AceMQ llevó a cabo una intervención intensiva de varios días con revisión del entorno en vivo, cambios de configuración en tiempo real y optimización práctica del rendimiento. El equipo analizó las métricas, revisó la topología y entregó recomendaciones de arquitectura detalladas para escalar.
Solución
- Recomendación de una estrategia de escalado horizontal (más nodos) en lugar de vertical
- Aumento del prefetch count de 1 a 20 para multiplicar el throughput de los consumidores
- Configuración de lazy queues para reducir el bloqueo de los productores mediante escritura directa a disco
- Implantación de límites de memoria por cola y políticas de TTL para evitar caídas por OOM
- Aumento del high water mark de 0.7 a 0.9 para aprovechar mejor la memoria
- Diseño de una ruta de migración de colas clásicas a colas de quórum para alta disponibilidad
- Entrega de una calculadora en Excel de requisitos de servidores para la planificación de capacidad
Resultado final
El cliente recibió cambios de configuración y una hoja de ruta de escalado orientados a detener las caídas recurrentes de RabbitMQ y a mejorar el throughput de los consumidores, y dispone de una ruta clara para dar soporte a un número creciente de dispositivos.