Descripción general
Una plataforma de pujas operaba con un presupuesto de latencia estricto por petición y perdía subastas por timeouts siguiendo un ciclo periódico. La latencia media de Redis parecía correcta; el p99.9 mostraba picos de varios cientos de milisegundos que llegaban a intervalos regulares. AceMQ intervino bajo el SLA de emergencia.
Reto
El intervalo de los picos coincidía con la programación de los snapshots RDB. Hacer fork de un proceso de Redis grande copia las tablas de páginas y, con las transparent huge pages activadas, el coste del copy-on-write posterior al fork se multiplicaba: cada escritura en una huge page compartida obligaba a copiar dos megabytes en lugar de cuatro kilobytes. El efecto era invisible en la latencia media y solo aparecía en la cola, que es donde se jugaba esta carga de trabajo.
Entorno
Redis en hosts Linux bare metal que atienden decisiones de pujas en tiempo real con un presupuesto de latencia estricto.
Enfoque
AceMQ correlacionó las marcas de tiempo de los picos con la duración del fork registrada en los logs de Redis y con las estadísticas de memoria del kernel para confirmar el mecanismo en lugar de deducirlo. Las correcciones abordaron la configuración de los hosts, la estrategia de persistencia y la huella de memoria que encarecía cada fork.
Solución
- Correlación de los picos de latencia de cola con la duración registrada del fork y las estadísticas de memoria del kernel para confirmar el mecanismo
- Desactivación de las transparent huge pages en los hosts de Redis y validación del cambio frente al coste del fork
- Traslado de la responsabilidad de los snapshots a las réplicas para que el primario deje de hacer fork en la ruta de servicio
- Revisión de la estrategia de persistencia y de los umbrales de rewrite frente a los requisitos reales de durabilidad de la plataforma
- Reducción de la huella de memoria por instancia mediante cambios en la estructura de las claves para que cualquier fork restante sea más barato
- Instrumentación de los percentiles de latencia de cola y de la duración del fork como señales monitorizadas de primer nivel
Resultado final
Los picos periódicos de cola desaparecieron y la latencia p99.9 volvió a estar dentro del presupuesto de la plataforma. Cesaron los timeouts de subastas atribuibles a la capa de caché.