Descripción general
La tasa de aciertos de caché de una plataforma de comercio se desplomó después de un cambio en el formato de sus objetos serializados, y los desalojos se dispararon aunque los servidores indicaban memoria sin usar. La base de datos absorbió la carga resultante y la latencia de las páginas aumentó a continuación.
Reto
Memcached asigna memoria a las clases de slab según el tamaño de los ítems y, una vez que una página se asigna a una clase, por defecto queda en ella. El cambio de serialización desplazó el ítem típico a una clase de tamaño distinta de la que tenía casi todas las páginas asignadas. La nueva clase se llenó y empezó a desalojar casi de inmediato, mientras la clase anterior quedaba casi vacía: la firma clásica de la calcificación. La memoria total parecía correcta en todos los paneles, y por eso el equipo había descartado la capacidad como causa.
Entorno
Capa de Memcached delante de una base de datos relacional para la caché de sesiones y objetos, con servidores de aplicaciones en Kubernetes.
Enfoque
Leímos las estadísticas por clase de slab en lugar de las cifras agregadas de memoria, lo que puso en evidencia el desequilibrio en cuestión de minutos. El alivio inmediato llegó al habilitar el rebalanceo de slabs para que las páginas pudieran migrar entre clases. La corrección duradera fue dimensionar los ítems de forma deliberada y monitorizar las métricas que realmente revelan este modo de fallo.
Solución
- Análisis de las estadísticas por clase de slab para exponer la contradicción entre desalojos y memoria libre que ocultaban las métricas agregadas
- Rebalanceo automático de slabs habilitado para que las páginas migren entre clases de tamaño a medida que cambia la carga de trabajo
- Revisión del growth factor y del tamaño de los chunks frente a la distribución real de tamaños de los ítems, en lugar de los valores predeterminados
- Reducción del tamaño de los objetos serializados en la capa de aplicación para que los ítems queden de forma predecible dentro de una clase
- Monitorización de desalojos y del número de páginas por clase, en sustitución del gráfico de memoria agregada que ocultaba el problema
- Definición de un procedimiento de reinicio y precalentamiento para que reiniciar la caché no provoque una avalancha de solicitudes sobre la base de datos
Resultado final
La tasa de aciertos volvió a su nivel anterior en menos de una hora y los desalojos en la clase caliente cayeron casi a cero. La carga de lectura de la base de datos volvió a la normalidad, y desde entonces la monitorización por clase ha detectado un segundo cambio de tamaño antes de que causara impacto alguno.