Descripción general
La empresa ofrece sistemas críticos de gestión de puertas de embarque que se utilizan en aeropuertos de todo el mundo. Su despliegue de RabbitMQ en Kubernetes sufría fallos de publicación, problemas de failover del clúster y problemas de sincronización de las colas de quórum que ponían en peligro la disponibilidad del sistema.
Reto
RabbitMQ compartía nodos de Kubernetes con PostgreSQL, lo que provocaba contención de recursos. La sincronización de las colas de quórum fallaba con un almacenamiento de 3.000 IOPS, y las particiones del clúster generaban bindings zombi y fallos en la publicación de mensajes. El equipo necesitaba actualizar a RabbitMQ 4.2 sin perder estabilidad en los entornos de Azure y VMware.
Entorno
Clústeres de Kubernetes en Azure y VMware, RabbitMQ compartiendo nodos con PostgreSQL, monitorización con Prometheus/Grafana y aplicaciones cliente en C y Node.js.
Enfoque
AceMQ llevó a cabo una evaluación intensiva de varias semanas con sesiones diarias: realizó pruebas de rendimiento de disco con FIO, analizó los logs de consenso de RAFT y diseñó estrategias de aislamiento de la infraestructura. El equipo entregó documentación completa sobre procedimientos de failover, monitorización, copia de seguridad y restauración, y federation.
Solución
- Separación de RabbitMQ y PostgreSQL en nodos dedicados con almacenamiento SSD aislado
- Recomendación de discos Premium SSD v2 para conseguir la latencia inferior al milisegundo que requieren las colas de quórum
- Desarrollo de scripts automatizados de detección y recuperación para colas de quórum bloqueadas y bindings zombi
- Configuración de métricas de Prometheus y alertas en Grafana para supervisar de forma proactiva la salud del clúster
- Entrega de un runbook completo para las operaciones de failover, copia de seguridad y restauración, y federation
- Acompañamiento en la ruta de actualización de RabbitMQ 3.x a 4.2 con validación de la estabilidad
Resultado final
El cliente consiguió una operación estable de RabbitMQ en Kubernetes, con un aislamiento de recursos adecuado, procedimientos de recuperación automatizados y una monitorización completa, lo que garantiza una mensajería fiable para sistemas aeroportuarios de todo el mundo.