Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Desalojos en aumento mientras la caché reporta memoria de sobra

Plataforma de comercio digital

Remediación de emergencia de una capa de Memcached que desalojaba claves calientes mientras reportaba memoria libre, con origen en la asignación de las clases de slab.

Descripción general

La tasa de aciertos de caché de una plataforma de comercio se desplomó después de un cambio en el formato de sus objetos serializados, y los desalojos se dispararon aunque los servidores reportaban memoria sin usar. La base de datos absorbió la carga resultante y la latencia de las páginas aumentó a continuación.

Desafío

Memcached asigna memoria a las clases de slab según el tamaño de los ítems y, una vez que una página se asigna a una clase, por defecto queda en ella. El cambio de serialización desplazó el ítem típico a una clase de tamaño distinta de la que tenía casi todas las páginas asignadas. La nueva clase se llenó y empezó a desalojar casi de inmediato, mientras la clase anterior quedaba casi vacía: la firma clásica de la calcificación. La memoria total se veía bien en todos los dashboards, y por eso el equipo había descartado la capacidad como causa.

Entorno

Capa de Memcached delante de una base de datos relacional para la caché de sesiones y objetos, con servidores de aplicaciones en Kubernetes.

Enfoque

Leímos las estadísticas por clase de slab en lugar de las cifras agregadas de memoria, lo que dejó en evidencia el desbalance en cuestión de minutos. El alivio inmediato llegó al habilitar el rebalanceo de slabs para que las páginas pudieran migrar entre clases. La corrección duradera fue dimensionar los ítems de forma deliberada y monitorear las métricas que realmente revelan este modo de falla.

Solución

  1. Análisis de las estadísticas por clase de slab para exponer la contradicción entre desalojos y memoria libre que ocultaban las métricas agregadas
  2. Rebalanceo automático de slabs habilitado para que las páginas migren entre clases de tamaño a medida que cambia la carga de trabajo
  3. Revisión del growth factor y del tamaño de los chunks frente a la distribución real de tamaños de los ítems, en lugar de los valores predeterminados
  4. Reducción del tamaño de los objetos serializados en la capa de aplicación para que los ítems queden de forma predecible dentro de una clase
  5. Monitoreo de desalojos y cantidad de páginas por clase, en reemplazo del gráfico de memoria agregada que ocultaba el problema
  6. Definición de un procedimiento de reinicio y precalentamiento para que reiniciar la caché no provoque una avalancha de solicitudes sobre la base de datos

Resultado final

La tasa de aciertos volvió a su nivel anterior en menos de una hora y los desalojos en la clase caliente cayeron casi a cero. La carga de lectura de la base de datos volvió a la normalidad, y desde entonces el monitoreo por clase detectó un segundo cambio de tamaño antes de que causara impacto alguno.

Tecnologías

MemcachedLinuxMySQLKubernetes

¿Enfrenta un problema de Memcached en producción?

Los ingenieros sénior de Memcached de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.