Descripción general
Un organismo del sector público utilizaba Redis para varias cargas de trabajo con necesidades de durabilidad distintas, pero con una única configuración heredada. Nadie sabía decir qué datos sobrevivían a la caída de un host y cuáles no. AceMQ evaluó el despliegue frente a los requisitos reales de cada carga de trabajo.
Reto
Las opciones de persistencia de Redis equilibran durabilidad y latencia de formas fáciles de configurar mal y difíciles de detectar hasta que se produce un fallo. Las instancias del organismo usaban intervalos de snapshot que harían perder minutos de escrituras, mientras que se daba por hecho que algunas cargas de trabajo eran durables. La replicación y el failover nunca se habían probado, así que se desconocían el comportamiento de la promoción y la pérdida de datos en un failover.
Entorno
Instancias de Redis on-premise con failover gestionado por Sentinel, que daban servicio a cargas de trabajo de caché, colas y sesiones.
Enfoque
AceMQ clasificó cada carga de trabajo según la pérdida que realmente podía tolerar y la comparó con lo que garantizaba la configuración actual. El failover se provocó de forma deliberada, midiendo la pérdida de datos en lugar de estimarla, de modo que la brecha entre lo supuesto y el comportamiento real quedó documentada con pruebas.
Solución
- Clasificación de cada carga de trabajo según la pérdida de datos tolerable y comparación con lo que la configuración garantiza realmente
- Revisión de los intervalos de snapshot y de la política de fsync del append-only file de cada instancia frente a esos requisitos
- Ejecución deliberada del failover de Sentinel y medición de la pérdida de datos real y del tiempo de promoción
- Evaluación de la topología de replicación, la configuración del quórum y la exposición a split-brain
- Verificación de los procedimientos de restauración a partir de los artefactos de persistencia existentes, con pruebas de recuperación cronometradas
- Entrega de una matriz de durabilidad por carga de trabajo con los cambios de configuración necesarios para cerrar cada brecha
Resultado final
El organismo recibió una declaración documentada y respaldada por pruebas de a qué sobrevive cada carga de trabajo, en sustitución de una suposición que nunca se había comprobado. Dos cargas de trabajo que se creían durables resultaron no serlo y se reconfiguraron antes de que un fallo lo demostrara.