Descripción general
Una plataforma de pujas operaba con un presupuesto estricto de latencia por solicitud y perdía subastas por timeouts en un ciclo periódico. La latencia promedio de Redis se veía bien; el p99.9 mostraba picos de varios cientos de milisegundos que llegaban a intervalos regulares. AceMQ intervino bajo el SLA de emergencia.
Desafío
El intervalo de los picos coincidía con la programación de los snapshots RDB. Hacer fork de un proceso grande de Redis copia las tablas de páginas y, con las transparent huge pages habilitadas, el costo del copy-on-write posterior al fork se multiplicaba: cada escritura en una huge page compartida obligaba a copiar dos megabytes en lugar de cuatro kilobytes. El efecto era invisible en la latencia promedio y solo aparecía en la cola de la distribución, que es justamente donde vivía esta carga de trabajo.
Entorno
Redis en hosts Linux bare-metal que atienden decisiones de real-time bidding bajo un presupuesto de latencia estricto.
Enfoque
AceMQ correlacionó las marcas de tiempo de los picos con la duración de los forks registrada en los logs de Redis y con las estadísticas de memoria del kernel para confirmar el mecanismo en lugar de inferirlo. Las correcciones abordaron la configuración de los hosts, la estrategia de persistencia y el uso de memoria que hacía costoso cada fork.
Solución
- Correlación de los picos de latencia de cola con la duración registrada de los forks y las estadísticas de memoria del kernel para confirmar el mecanismo
- Deshabilitación de las transparent huge pages en los hosts de Redis y validación del cambio frente al costo del fork
- Traslado de la responsabilidad de los snapshots a las réplicas para que el primario ya no haga fork en la ruta de servicio
- Revisión de la estrategia de persistencia y de los umbrales de rewrite frente a los requisitos reales de durabilidad de la plataforma
- Reducción del uso de memoria por instancia mediante cambios en la estructura de las claves, para que cualquier fork restante sea más barato
- Instrumentación de los percentiles de latencia de cola y de la duración de los forks como señales monitoreadas de primer nivel
Resultado final
Los picos periódicos en la cola desaparecieron y la latencia p99.9 volvió a estar dentro del presupuesto de la plataforma. Cesaron los timeouts de subastas atribuibles a la capa de caché.