Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Encontrar el pico de latencia que solo aparece en el p99.9

Plataforma de pujas en tiempo real

Eliminación de picos periódicos de latencia de varios cientos de milisegundos cuyo origen estaba en los bloqueos del fork de los snapshots RDB, amplificados por las transparent huge pages.

Descripción general

Una plataforma de pujas operaba con un presupuesto de latencia estricto por petición y perdía subastas por timeouts siguiendo un ciclo periódico. La latencia media de Redis parecía correcta; el p99.9 mostraba picos de varios cientos de milisegundos que llegaban a intervalos regulares. AceMQ intervino bajo el SLA de emergencia.

Reto

El intervalo de los picos coincidía con la programación de los snapshots RDB. Hacer fork de un proceso de Redis grande copia las tablas de páginas y, con las transparent huge pages activadas, el coste del copy-on-write posterior al fork se multiplicaba: cada escritura en una huge page compartida obligaba a copiar dos megabytes en lugar de cuatro kilobytes. El efecto era invisible en la latencia media y solo aparecía en la cola, que es donde se jugaba esta carga de trabajo.

Entorno

Redis en hosts Linux bare metal que atienden decisiones de pujas en tiempo real con un presupuesto de latencia estricto.

Enfoque

AceMQ correlacionó las marcas de tiempo de los picos con la duración del fork registrada en los logs de Redis y con las estadísticas de memoria del kernel para confirmar el mecanismo en lugar de deducirlo. Las correcciones abordaron la configuración de los hosts, la estrategia de persistencia y la huella de memoria que encarecía cada fork.

Solución

  1. Correlación de los picos de latencia de cola con la duración registrada del fork y las estadísticas de memoria del kernel para confirmar el mecanismo
  2. Desactivación de las transparent huge pages en los hosts de Redis y validación del cambio frente al coste del fork
  3. Traslado de la responsabilidad de los snapshots a las réplicas para que el primario deje de hacer fork en la ruta de servicio
  4. Revisión de la estrategia de persistencia y de los umbrales de rewrite frente a los requisitos reales de durabilidad de la plataforma
  5. Reducción de la huella de memoria por instancia mediante cambios en la estructura de las claves para que cualquier fork restante sea más barato
  6. Instrumentación de los percentiles de latencia de cola y de la duración del fork como señales monitorizadas de primer nivel

Resultado final

Los picos periódicos de cola desaparecieron y la latencia p99.9 volvió a estar dentro del presupuesto de la plataforma. Cesaron los timeouts de subastas atribuibles a la capa de caché.

Tecnologías

RedisLinuxKubernetesPrometheus

¿Se enfrenta a un problema de Redis en producción?

Los ingenieros sénior de Redis de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.