Descripción general
La plataforma IoT de la empresa depende de RabbitMQ para gestionar la mensajería de una gran flota de dispositivos conectados, con planes de crecimiento importantes. Las caídas semanales por falta de memoria y los cuellos de botella de rendimiento ponían en riesgo la estabilidad de la plataforma y los planes de crecimiento.
Desafío
Los nodos de RabbitMQ se caían cada semana por errores de falta de memoria, causados por un enfoque inadecuado de escalamiento vertical, prefetch counts bajos (configurados en 1) y la ausencia de configuraciones de TTL en las colas. El bloqueo de los productores por consumidores lentos generaba fallas en cascada. El equipo usaba colas clásicas sin mirroring, lo que lo dejaba expuesto a pérdida de datos ante la caída de un nodo.
Entorno
Despliegue en Kubernetes, RabbitMQ gestionando una gran cantidad de conexiones de dispositivos, consumidores en Spring Boot y planes de escalamiento horizontal con monitoreo en Prometheus/Grafana.
Enfoque
AceMQ realizó una remediación intensiva de varios días con revisión del entorno en vivo, cambios de configuración en tiempo real y optimización práctica del rendimiento. El equipo analizó métricas, revisó la topología y entregó recomendaciones de arquitectura detalladas para escalar.
Solución
- Recomendación de una estrategia de escalamiento horizontal (más nodos) en lugar de escalamiento vertical
- Aumento del prefetch count de 1 a 20 para mejorar drásticamente el throughput de los consumidores
- Configuración de lazy queues para reducir el bloqueo de los productores mediante escritura directa a disco
- Implementación de límites de memoria por cola y políticas de TTL para evitar caídas por OOM
- Aumento del high water mark de 0.7 a 0.9 para aprovechar mejor la memoria
- Diseño de una ruta de migración de colas clásicas a colas de quórum para alta disponibilidad
- Entrega de una calculadora de requisitos de servidores en Excel para la planificación de capacidad
Resultado final
El cliente recibió cambios de configuración y una hoja de ruta de escalamiento orientados a detener las caídas recurrentes de RabbitMQ y a mejorar el throughput de los consumidores, y cuenta con un camino claro para soportar una cantidad creciente de dispositivos.