Descripción general
Una plataforma de medios digitales sufría caídas de la base de datos cada vez que se reemplazaba un nodo de Memcached o un lote grande de claves expiraba al mismo tiempo. AceMQ brinda soporte continuo que cubre la capa de caché y los patrones de aplicación que la rodean.
Desafío
Perder un nodo en un anillo de hashing consistente reasigna su porción de claves, y todas las claves reasignadas fallan a la vez. Sin protección contra la regeneración concurrente, miles de solicitudes recalculaban el mismo valor costoso al mismo tiempo y saturaban la base de datos. Lo mismo ocurría con las expiraciones masivas, porque las claves que se cargaban juntas durante un despliegue compartían un TTL idéntico y, por lo tanto, expiraban juntas. El mantenimiento de rutina de los nodos se había convertido en un problema de aprobación de cambios.
Entorno
Capa de Memcached en AWS delante de una base de datos relacional, con servidores de aplicaciones en Kubernetes y despliegues frecuentes.
Enfoque
Aquí el soporte abarca la caché y los patrones de aplicación que la usan, ya que la protección contra stampedes es una responsabilidad de la aplicación que la caché por sí sola no puede resolver. Trabajamos con los ingenieros del cliente en la consolidación de solicitudes (request coalescing) y el jitter de TTL, y convertimos los cambios de topología de nodos en una operación controlada en lugar de un evento.
Solución
- Soporte 24/7 con objetivos de respuesta desde 15 minutos, según el plan, e ingenieros sénior asignados que conocen la topología de la caché y a sus consumidores
- Consolidación de solicitudes en la capa de aplicación para que un solo llamador regenere un valor faltante mientras los demás esperan
- Jitter de TTL para que las claves cargadas juntas no expiren juntas ni provoquen una expiración masiva
- Revisión de la configuración de hashing consistente para que los cambios de nodos reasignen la menor porción posible de claves
- Procedimiento controlado de alta y baja de nodos con precalentamiento, en reemplazo de los reemplazos no planificados
- Monitoreo por nodo de la tasa de aciertos, los desalojos y los get-miss para detectar un nodo que se degrada antes de perderlo
Resultado final
Reemplazar un nodo ya no provoca un pico de carga en la base de datos, y las expiraciones masivas desaparecieron una vez aplicado el jitter de TTL. El mantenimiento de la caché dejó de requerir aprobación de cambios y volvió a ser una operación de rutina.