Volver a todos los casos de uso

SoporteSoftware / Plataformas digitales

Sobrevivir al momento en que la caché se enfría

Plataforma de medios digitales

Soporte continuo para una capa de Memcached propensa a avalanchas de carga (thundering herd) sobre la base de datos tras cambios de nodos y expiraciones masivas de caché.

Descripción general

Una plataforma de medios digitales sufría caídas de la base de datos cada vez que se reemplazaba un nodo de Memcached o un lote grande de claves expiraba al mismo tiempo. AceMQ brinda soporte continuo que cubre la capa de caché y los patrones de aplicación que la rodean.

Desafío

Perder un nodo en un anillo de hashing consistente reasigna su porción de claves, y todas las claves reasignadas fallan a la vez. Sin protección contra la regeneración concurrente, miles de solicitudes recalculaban el mismo valor costoso al mismo tiempo y saturaban la base de datos. Lo mismo ocurría con las expiraciones masivas, porque las claves que se cargaban juntas durante un despliegue compartían un TTL idéntico y, por lo tanto, expiraban juntas. El mantenimiento de rutina de los nodos se había convertido en un problema de aprobación de cambios.

Entorno

Capa de Memcached en AWS delante de una base de datos relacional, con servidores de aplicaciones en Kubernetes y despliegues frecuentes.

Enfoque

Aquí el soporte abarca la caché y los patrones de aplicación que la usan, ya que la protección contra stampedes es una responsabilidad de la aplicación que la caché por sí sola no puede resolver. Trabajamos con los ingenieros del cliente en la consolidación de solicitudes (request coalescing) y el jitter de TTL, y convertimos los cambios de topología de nodos en una operación controlada en lugar de un evento.

Solución

  1. Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que conocen la topología de la caché y a sus consumidores
  2. Consolidación de solicitudes en la capa de aplicación para que un solo llamador regenere un valor faltante mientras los demás esperan
  3. Jitter de TTL para que las claves cargadas juntas no expiren juntas ni provoquen una expiración masiva
  4. Revisión de la configuración de hashing consistente para que los cambios de nodos reasignen la menor porción posible de claves
  5. Procedimiento controlado de alta y baja de nodos con precalentamiento, en reemplazo de los reemplazos no planificados
  6. Monitoreo por nodo de la tasa de aciertos, los desalojos y los get-miss para detectar un nodo que se degrada antes de perderlo

Resultado final

Reemplazar un nodo ya no provoca un pico de carga en la base de datos, y las expiraciones masivas desaparecieron una vez aplicado el jitter de TTL. El mantenimiento de la caché dejó de requerir aprobación de cambios y volvió a ser una operación de rutina.

Tecnologías

MemcachedLinuxPostgreSQLKubernetes

¿Necesita soporte experto de Memcached?

Los ingenieros sénior de Memcached de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.