Volver a todos los casos de uso

RemediaciónTelecomunicaciones

Escalado de RabbitMQ para dar servicio a una gran flota de dispositivos conectados de un operador de telecomunicaciones líder a escala mundial

Líder mundial en telecomunicaciones

Eliminación de las caídas semanales de RabbitMQ, optimización para una gran flota de dispositivos conectados y diseño de una estrategia de escalado horizontal.

Resolución de problemas de rendimiento

Descripción general

La plataforma IoT de la empresa depende de RabbitMQ para gestionar la mensajería de una gran flota de dispositivos conectados, con previsión de un crecimiento importante. Las caídas semanales por falta de memoria y los cuellos de botella de rendimiento ponían en peligro la estabilidad de la plataforma y los planes de crecimiento.

Reto

Los nodos de RabbitMQ se caían cada semana por errores de falta de memoria, provocados por un enfoque de escalado vertical inadecuado, valores de prefetch count muy bajos (fijados en 1) y la ausencia de TTL configurado en las colas. El bloqueo de los productores a causa de consumidores lentos generaba fallos en cascada. El equipo utilizaba colas clásicas sin mirroring, lo que lo dejaba expuesto a pérdidas de datos si caía un nodo.

Entorno

Despliegue en Kubernetes, RabbitMQ gestionando un elevado número de conexiones de dispositivos, consumidores en Spring Boot y planes de escalado horizontal con monitorización en Prometheus/Grafana.

Enfoque

AceMQ llevó a cabo una intervención intensiva de varios días con revisión del entorno en vivo, cambios de configuración en tiempo real y optimización práctica del rendimiento. El equipo analizó las métricas, revisó la topología y entregó recomendaciones de arquitectura detalladas para escalar.

Solución

  1. Recomendación de una estrategia de escalado horizontal (más nodos) en lugar de vertical
  2. Aumento del prefetch count de 1 a 20 para multiplicar el throughput de los consumidores
  3. Configuración de lazy queues para reducir el bloqueo de los productores mediante escritura directa a disco
  4. Implantación de límites de memoria por cola y políticas de TTL para evitar caídas por OOM
  5. Aumento del high water mark de 0.7 a 0.9 para aprovechar mejor la memoria
  6. Diseño de una ruta de migración de colas clásicas a colas de quórum para alta disponibilidad
  7. Entrega de una calculadora en Excel de requisitos de servidores para la planificación de capacidad

Resultado final

El cliente recibió cambios de configuración y una hoja de ruta de escalado orientados a detener las caídas recurrentes de RabbitMQ y a mejorar el throughput de los consumidores, y dispone de una ruta clara para dar soporte a un número creciente de dispositivos.

Tecnologías

RabbitMQKubernetesQuorum QueuesPrometheusGrafana

¿Se enfrenta a un problema de RabbitMQ en producción?

Los ingenieros sénior de RabbitMQ de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.