Descripción general
Una plataforma de medios digitales sufría caídas de la base de datos cada vez que se sustituía un nodo de Memcached o caducaba a la vez un lote grande de claves. AceMQ presta soporte continuo que abarca la capa de caché y los patrones de aplicación que la rodean.
Reto
Perder un nodo en un anillo de hashing consistente redistribuye su parte de las claves, y todas las claves redistribuidas fallan a la vez. Sin protección frente a la regeneración concurrente, miles de solicitudes recalculaban el mismo valor costoso simultáneamente y saturaban la base de datos. Lo mismo ocurría con las caducidades masivas, porque las claves que se cargaban juntas durante un despliegue compartían el mismo TTL y, por tanto, caducaban juntas. El mantenimiento rutinario de los nodos se había convertido en un problema de aprobación de cambios.
Entorno
Capa de Memcached en AWS delante de una base de datos relacional, con servidores de aplicaciones en Kubernetes y despliegues frecuentes.
Enfoque
Aquí el soporte abarca la caché y los patrones de aplicación que la utilizan, ya que la protección frente a avalanchas es una cuestión de la aplicación que la caché por sí sola no puede resolver. Trabajamos con los ingenieros del cliente en la agrupación de solicitudes y el jitter de los TTL, y convertimos los cambios de topología de nodos en una operación controlada y no en un incidente.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que conocen la topología de la caché y a sus consumidores
- Agrupación de solicitudes (request coalescing) en la capa de aplicación para que un solo llamante regenere un valor ausente mientras los demás esperan
- Jitter aplicado a los TTL para que las claves cargadas a la vez no caduquen a la vez y provoquen una caducidad masiva
- Revisión de la configuración del hashing consistente para que los cambios de nodos redistribuyan la menor proporción posible de claves
- Procedimiento controlado de alta y baja de nodos con precalentamiento, en sustitución de los reemplazos no planificados
- Monitorización por nodo de la tasa de aciertos, los desalojos y los fallos de get para detectar un nodo que se degrada antes de perderlo
Resultado final
La sustitución de nodos ya no provoca picos de carga en la base de datos, y las caducidades masivas desaparecieron una vez aplicado el jitter a los TTL. El mantenimiento de la caché dejó de ser un asunto de aprobación de cambios y volvió a ser una operación rutinaria.