Volver a todos los casos de uso

RemediaciónSoftware / Plataformas digitales

Cuando el agente de monitoreo se convierte en el problema de rendimiento

Plataforma de comercio digital

Solución de problemas de latencia de la aplicación y crecimiento de memoria cuyo origen estaba en la configuración del agente de APM en las JVM y los contenedores del propio cliente.

Descripción general

Una plataforma de comercio vio que la latencia p99 subía y que la memoria de los contenedores crecía de forma constante después de una actualización del agente. AceMQ corrigió la configuración del agente y su interacción con la JVM, el lado del cliente, que el soporte del proveedor no ajusta.

Desafío

El nombrado de las transacciones recurría a un esquema por URL porque la instrumentación del framework no reconocía un router personalizado, así que cada ruta distinta producía una transacción separada. Eso provocaba problemas de agrupación de métricas y una gran caché de nombres dentro del agente que crecía con el tráfico. Por otro lado, el tracing distribuido se había habilitado con muestreo completo en un servicio de muy alto throughput, lo que agregaba un overhead medible por solicitud y una presión de asignación de memoria constante que se traducía en pausas de garbage collection más largas.

Entorno

Servicios Java en Kubernetes con un framework de enrutamiento personalizado, alto throughput de solicitudes y contenedores con límites de memoria.

Enfoque

Separamos el overhead atribuible al agente del comportamiento de la aplicación mediante comparaciones controladas con el agente habilitado y deshabilitado bajo la misma carga. Una vez cuantificado el costo del agente, corregimos el nombrado de las transacciones para que el agente dejara de generar nombres sin límite y fijamos el muestreo en un nivel adecuado para el throughput del servicio.

Solución

  1. Comparación de carga controlada con el agente habilitado y deshabilitado para cuantificar el overhead real en lugar de estimarlo
  2. Corrección del nombrado de transacciones mediante llamadas explícitas a la API para que el router personalizado produzca nombres acotados y significativos
  3. Resolución de los problemas de agrupación de métricas, eliminando la caché de nombres sin límite dentro del agente que provocaba el crecimiento de memoria
  4. Reducción del muestreo del tracing distribuido en el servicio de mayor throughput, manteniéndolo completo en las rutas de error
  5. Reajuste del heap de la JVM y de los límites de memoria de los contenedores para contemplar la huella real del agente en lugar del dimensionamiento previo al agente
  6. Prueba de la ruta de actualización de versión del agente en staging, bajo una carga similar a la de producción, antes del despliegue

Resultado final

El crecimiento de memoria se detuvo y la latencia p99 volvió a su nivel previo a la actualización. Los datos de transacciones volvieron a ser útiles porque se agrupan por endpoint significativo y no por cada URL distinta.

Tecnologías

New RelicJavaKubernetesLinux

¿Enfrenta un problema de New Relic en producción?

Los ingenieros sénior de New Relic de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.