Descripción general
Un procesador de pagos había escalado una instancia standalone de Redis hasta el host más grande disponible y ya no tenía margen para crecer. Pasar al modo Cluster era la respuesta evidente, pero la aplicación usaba operaciones multiclave y scripts Lua que presuponen que todas las claves residen en un único nodo. AceMQ planificó y validó la migración.
Reto
El modo Cluster rechaza las operaciones multiclave cuyas claves caen en slots distintos. Encontrar todas esas operaciones en una base de código grande es más difícil de lo que parece, porque muchas se construyen de forma dinámica. Los hash tags pueden obligar a que las claves relacionadas compartan slot, pero abusar de ellos vuelve a crear el problema del nodo caliente que la migración pretende resolver.
Entorno
Redis sobre Kubernetes como soporte de la deduplicación de transacciones, la limitación de tasa y el almacenamiento de claves de idempotencia.
Enfoque
AceMQ inventarió la combinación real de comandos a partir del tráfico en vivo y no solo de la revisión del código, lo que sacó a la luz operaciones multiclave construidas dinámicamente que el análisis estático había pasado por alto. Después, el diseño de los hash tags se limitó de forma deliberada para conservar la distribución de slots, y la migración se escalonó con validación de doble lectura.
Solución
- Inventario de la combinación de comandos en vivo para encontrar las operaciones multiclave y los scripts que la revisión estática del código había pasado por alto
- Diseño de hash tags con un ámbito lo bastante acotado para conservar la distribución de slots manteniendo juntas las claves relacionadas
- Reescritura de las operaciones que no podían ubicarse juntas para que funcionaran entre slots sin perder corrección
- Validación del soporte de Cluster y de la gestión de redirecciones en las librerías cliente antes de cualquier cambio de infraestructura
- Diseño de una migración escalonada con validación de doble lectura y un punto de rollback definido en cada fase
- Modelado de la distribución de slots y de la carga por nodo con los patrones de claves de producción antes de comprometerse con la topología
Resultado final
El procesador pasó al modo Cluster con margen para crecer en horizontal en lugar de un techo vertical, y la distribución de slots se mantuvo equilibrada incluso con los patrones de claves de producción. Las operaciones multiclave que habrían fallado en silencio se detectaron y corrigieron antes del cambio definitivo.