Descripción general
Un proveedor SaaS estaba a punto de duplicar su huella de Memcached para mejorar una tasa de aciertos decepcionante. AceMQ evaluó antes la capa de caché para determinar si la capacidad era realmente la restricción.
Reto
La tasa de aciertos agregada parecía mala, lo que convertía más memoria en la respuesta obvia. Pero el agregado ocultaba dos problemas distintos. Una parte considerable de los gets correspondía a claves que solo se leen una vez, fallos de caché por diseño que ninguna cantidad de memoria resuelve. Y la distribución de claves en el anillo era muy desigual porque una diferencia de configuración del hashing entre dos bibliotecas cliente hacía que algunos nodos estuvieran cerca de su capacidad y desalojando mientras otros estaban medio vacíos.
Entorno
Capa de Memcached en AWS a la que acceden servicios escritos en dos lenguajes con bibliotecas cliente distintas.
Enfoque
La evaluación desglosa la tasa de aciertos por patrón de clave en lugar de tratarla como una única cifra, y mide la distribución real de claves y de memoria por nodo. Así se separa el tráfico que de verdad no se puede cachear de la carga que se beneficiaría de más memoria, y se ponen de manifiesto problemas de distribución que añadir nodos no resolvería.
Solución
- Desglose de la tasa de aciertos por prefijo de clave y patrón de acceso, separando las claves de lectura única de las realmente reutilizables
- Medición del número de claves y de la distribución de memoria por nodo para revelar el desequilibrio del anillo
- Comparación de la configuración de hashing de las bibliotecas cliente en ambos lenguajes, identificando la discrepancia que causaba el desequilibrio
- Estimación del tamaño del working set por clase de clave para que los requisitos de capacidad se basen en mediciones y no en la suposición de duplicar
- Identificación de los patrones de acceso que no se pueden cachear, devueltos a los equipos de aplicación como candidatos para salir de la ruta de la caché
- Recomendación de dimensionamiento con la tasa de aciertos esperada para cada opción, incluida la de no añadir ninguna capacidad
Resultado final
Corregir la discrepancia de hashing de los clientes reequilibró el anillo y elevó de forma sustancial la tasa de aciertos sin hardware nuevo. Se canceló la duplicación de capacidad prevista y, en su lugar, se programó un aumento moderado dirigido a una clase de claves concreta.