Volver a todos los casos de uso

RemediaciónTelecomunicaciones

Cómo escalar RabbitMQ para soportar una gran flota de dispositivos conectados de un líder global de telecomunicaciones

Líder global de telecomunicaciones

Resolución de caídas semanales de RabbitMQ, optimización para una gran flota de dispositivos conectados y diseño de una estrategia de escalamiento horizontal.

Resolución de problemas de rendimiento

Descripción general

La plataforma IoT de la empresa depende de RabbitMQ para gestionar la mensajería de una gran flota de dispositivos conectados, con planes de crecimiento importantes. Las caídas semanales por falta de memoria y los cuellos de botella de rendimiento ponían en riesgo la estabilidad de la plataforma y los planes de crecimiento.

Desafío

Los nodos de RabbitMQ se caían cada semana por errores de falta de memoria, causados por un enfoque inadecuado de escalamiento vertical, prefetch counts bajos (configurados en 1) y la ausencia de configuraciones de TTL en las colas. El bloqueo de los productores por consumidores lentos generaba fallas en cascada. El equipo usaba colas clásicas sin mirroring, lo que lo dejaba expuesto a pérdida de datos ante la caída de un nodo.

Entorno

Despliegue en Kubernetes, RabbitMQ gestionando una gran cantidad de conexiones de dispositivos, consumidores en Spring Boot y planes de escalamiento horizontal con monitoreo en Prometheus/Grafana.

Enfoque

AceMQ realizó una remediación intensiva de varios días con revisión del entorno en vivo, cambios de configuración en tiempo real y optimización práctica del rendimiento. El equipo analizó métricas, revisó la topología y entregó recomendaciones de arquitectura detalladas para escalar.

Solución

  1. Recomendación de una estrategia de escalamiento horizontal (más nodos) en lugar de escalamiento vertical
  2. Aumento del prefetch count de 1 a 20 para mejorar drásticamente el throughput de los consumidores
  3. Configuración de lazy queues para reducir el bloqueo de los productores mediante escritura directa a disco
  4. Implementación de límites de memoria por cola y políticas de TTL para evitar caídas por OOM
  5. Aumento del high water mark de 0.7 a 0.9 para aprovechar mejor la memoria
  6. Diseño de una ruta de migración de colas clásicas a colas de quórum para alta disponibilidad
  7. Entrega de una calculadora de requisitos de servidores en Excel para la planificación de capacidad

Resultado final

El cliente recibió cambios de configuración y una hoja de ruta de escalamiento orientados a detener las caídas recurrentes de RabbitMQ y a mejorar el throughput de los consumidores, y cuenta con un camino claro para soportar una cantidad creciente de dispositivos.

Tecnologías

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

¿Enfrenta un problema de RabbitMQ en producción?

Los ingenieros sénior de RabbitMQ de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.