Descripción general
La empresa ofrece sistemas de misión crítica para la gestión de puertas de embarque que se usan en aeropuertos de todo el mundo. Su despliegue de RabbitMQ en Kubernetes sufría fallas de publicación, problemas de failover del clúster y problemas de sincronización de las colas de quórum que ponían en riesgo la disponibilidad del sistema.
Desafío
RabbitMQ compartía nodos de Kubernetes con PostgreSQL, lo que generaba contención de recursos. La sincronización de las colas de quórum fallaba con un almacenamiento de 3,000 IOPS, y las particiones del clúster provocaban bindings zombi y fallas en la publicación de mensajes. El equipo necesitaba actualizar a RabbitMQ 4.2 manteniendo la estabilidad en los entornos de Azure y VMware.
Entorno
Clústeres de Kubernetes en Azure y VMware, RabbitMQ compartiendo nodos con PostgreSQL, monitoreo con Prometheus/Grafana y aplicaciones cliente en C y Node.js.
Enfoque
AceMQ realizó una evaluación intensiva de varias semanas con sesiones diarias: hizo benchmarks de disco con FIO, analizó los logs de consenso de RAFT y diseñó estrategias de aislamiento de la infraestructura. El equipo entregó documentación completa sobre procedimientos de failover, monitoreo, backup/restore y federation.
Solución
- Separación de RabbitMQ y PostgreSQL en nodos dedicados con almacenamiento SSD aislado
- Recomendación de discos premium SSD V2 para lograr la latencia inferior a un milisegundo que requieren las colas de quórum
- Desarrollo de scripts automatizados de detección y recuperación para colas de quórum atascadas y bindings zombi
- Configuración de métricas de Prometheus y alertas en Grafana para monitorear de forma proactiva la salud del clúster
- Entrega de un runbook completo para operaciones de failover, backup/restore y federation
- Acompañamiento en la ruta de actualización de RabbitMQ 3.x a 4.2 con validación de estabilidad
Resultado final
El cliente logró una operación estable de RabbitMQ en Kubernetes, con un aislamiento de recursos adecuado, procedimientos de recuperación automatizados y un monitoreo integral, lo que garantiza una mensajería confiable para sistemas aeroportuarios de todo el mundo.