Descripción general
Un procesador de pagos que se expandía a nuevas regiones necesitaba un diseño de caché que no produjera lecturas obsoletas entre regiones. AceMQ diseñó la topología, el espacio de nombres y la estrategia de invalidación antes de que empezara la expansión.
Reto
La configuración existente, en una sola región, dependía de que cada servicio borrara las claves después de escribir, y cada servicio usaba su propia nomenclatura de claves. Nadie tenía una visión completa de qué claves debía invalidar una escritura determinada, así que se producían lecturas obsoletas que se resolvían acortando los TTL, lo que devolvía la carga a la base de datos. Extender ese modelo a varias regiones multiplicaría el problema, porque una escritura en una región no tenía forma de invalidar una copia en caché en otra.
Entorno
Despliegue multirregión en AWS sobre Kubernetes, rutas de autorización de pagos sensibles a la latencia y restricciones regionales de residencia de datos.
Enfoque
Diseñamos la caché en torno a una propiedad explícita: cada espacio de nombres de claves tiene exactamente un servicio propietario responsable de su ciclo de vida. En lugar de repartir borrados entre regiones, el diseño utiliza espacios de nombres con versión en la clave, de modo que una invalidación es un simple incremento de versión que deja inaccesibles las entradas obsoletas y permite que caduquen de forma natural.
Solución
- Esquema de espacios de nombres de claves con un único servicio propietario por espacio de nombres, que pone fin a la propiedad compartida implícita
- Espacios de nombres con versión en la clave, de modo que invalidar consiste en incrementar una versión y no en enumerar un conjunto de borrados
- Niveles de caché locales por región que respetan los límites de residencia de datos, con reglas explícitas sobre lo que nunca se almacena en caché entre regiones
- Estrategia de TTL por clase de datos según el grado de obsolescencia tolerable, en sustitución de los TTL cortos generalizados que servían para ocultar errores de invalidación
- Comportamiento ante fallos definido para que una caída de la caché degrade a lecturas directas con límites de concurrencia en lugar de provocar una avalancha sobre la base de datos
- Orientación sobre los casos en que un almacén duradero encaja mejor que una caché volátil, reservando Memcached para las cargas de trabajo que le convienen
Resultado final
Las lecturas obsoletas entre regiones se eliminaron desde el diseño en lugar de mitigarse, lo que permitió alargar considerablemente los TTL y reducir la carga de lectura sobre la base de datos. Desde entonces, equipos ajenos al alcance original han adoptado el patrón de espacios de nombres con versión en la clave.