Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Encontrar el pico de latencia que solo aparece en el p99.9

Plataforma de real-time bidding

Eliminación de picos periódicos de latencia de varios cientos de milisegundos, originados en bloqueos del fork de los snapshots RDB y amplificados por las transparent huge pages.

Descripción general

Una plataforma de pujas operaba con un presupuesto estricto de latencia por solicitud y perdía subastas por timeouts en un ciclo periódico. La latencia promedio de Redis se veía bien; el p99.9 mostraba picos de varios cientos de milisegundos que llegaban a intervalos regulares. AceMQ intervino bajo el SLA de emergencia.

Desafío

El intervalo de los picos coincidía con la programación de los snapshots RDB. Hacer fork de un proceso grande de Redis copia las tablas de páginas y, con las transparent huge pages habilitadas, el costo del copy-on-write posterior al fork se multiplicaba: cada escritura en una huge page compartida obligaba a copiar dos megabytes en lugar de cuatro kilobytes. El efecto era invisible en la latencia promedio y solo aparecía en la cola de la distribución, que es justamente donde vivía esta carga de trabajo.

Entorno

Redis en hosts Linux bare-metal que atienden decisiones de real-time bidding bajo un presupuesto de latencia estricto.

Enfoque

AceMQ correlacionó las marcas de tiempo de los picos con la duración de los forks registrada en los logs de Redis y con las estadísticas de memoria del kernel para confirmar el mecanismo en lugar de inferirlo. Las correcciones abordaron la configuración de los hosts, la estrategia de persistencia y el uso de memoria que hacía costoso cada fork.

Solución

  1. Correlación de los picos de latencia de cola con la duración registrada de los forks y las estadísticas de memoria del kernel para confirmar el mecanismo
  2. Deshabilitación de las transparent huge pages en los hosts de Redis y validación del cambio frente al costo del fork
  3. Traslado de la responsabilidad de los snapshots a las réplicas para que el primario ya no haga fork en la ruta de servicio
  4. Revisión de la estrategia de persistencia y de los umbrales de rewrite frente a los requisitos reales de durabilidad de la plataforma
  5. Reducción del uso de memoria por instancia mediante cambios en la estructura de las claves, para que cualquier fork restante sea más barato
  6. Instrumentación de los percentiles de latencia de cola y de la duración de los forks como señales monitoreadas de primer nivel

Resultado final

Los picos periódicos en la cola desaparecieron y la latencia p99.9 volvió a estar dentro del presupuesto de la plataforma. Cesaron los timeouts de subastas atribuibles a la capa de caché.

Tecnologías

RedisLinuxKubernetesPrometheus

¿Enfrenta un problema de Redis en producción?

Los ingenieros sénior de Redis de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.