Descripción general
Un procesador de pagos que se expandía a nuevas regiones necesitaba un diseño de caché que no produjera lecturas obsoletas entre regiones. AceMQ diseñó la topología, el namespacing y la estrategia de invalidación antes de que comenzara la expansión.
Desafío
La configuración existente, en una sola región, dependía de que cada servicio borrara claves después de escribir, y cada servicio usaba su propia convención de nombres. Nadie tenía una visión completa de qué claves debía invalidar una escritura determinada, así que había lecturas obsoletas que se resolvían acortando los TTL, lo que volvía a cargar la base de datos. Extender ese modelo a varias regiones multiplicaría el problema, ya que una escritura en una región no tenía forma de invalidar una copia en caché en otra.
Entorno
Despliegue multirregión en AWS sobre Kubernetes, rutas de autorización de pagos sensibles a la latencia y restricciones regionales de residencia de datos.
Enfoque
Diseñamos la caché en torno a una propiedad explícita: cada namespace de claves tiene exactamente un servicio dueño, responsable de su ciclo de vida. En lugar de distribuir borrados entre regiones, el diseño usa namespaces con clave de versión, de modo que una invalidación es un simple incremento de versión que deja inalcanzables las entradas obsoletas y permite que expiren de forma natural.
Solución
- Esquema de namespaces de claves con un único servicio dueño por namespace, que pone fin a la propiedad compartida e implícita
- Namespaces con clave de versión, para que la invalidación sea un incremento de versión y no un conjunto enumerado de borrados
- Niveles de caché locales por región que respetan los límites de residencia, con reglas explícitas sobre lo que nunca se almacena en caché entre regiones
- Estrategia de TTL por clase de datos según la obsolescencia tolerable, en reemplazo de los TTL cortos generalizados que se usaban para ocultar errores de invalidación
- Comportamiento ante fallas definido para que una caída de la caché degrade a lecturas directas con límites de concurrencia, en lugar de una estampida sobre la base de datos
- Orientación sobre dónde un almacén durable es más adecuado que una caché volátil, reservando Memcached para las cargas de trabajo que le corresponden
Resultado final
Las lecturas obsoletas entre regiones se eliminaron desde el diseño en lugar de mitigarse, lo que permitió alargar considerablemente los TTL y reducir la carga de lectura sobre la base de datos. Desde entonces, equipos fuera del alcance original adoptaron el patrón de namespaces con clave de versión.