Descripción general
Una plataforma de comercio vio que la latencia p99 subía y que la memoria de los contenedores crecía de forma constante después de una actualización del agente. AceMQ corrigió la configuración del agente y su interacción con la JVM, el lado del cliente, que el soporte del proveedor no ajusta.
Desafío
El nombrado de las transacciones recurría a un esquema por URL porque la instrumentación del framework no reconocía un router personalizado, así que cada ruta distinta producía una transacción separada. Eso provocaba problemas de agrupación de métricas y una gran caché de nombres dentro del agente que crecía con el tráfico. Por otro lado, el tracing distribuido se había habilitado con muestreo completo en un servicio de muy alto throughput, lo que agregaba un overhead medible por solicitud y una presión de asignación de memoria constante que se traducía en pausas de garbage collection más largas.
Entorno
Servicios Java en Kubernetes con un framework de enrutamiento personalizado, alto throughput de solicitudes y contenedores con límites de memoria.
Enfoque
Separamos el overhead atribuible al agente del comportamiento de la aplicación mediante comparaciones controladas con el agente habilitado y deshabilitado bajo la misma carga. Una vez cuantificado el costo del agente, corregimos el nombrado de las transacciones para que el agente dejara de generar nombres sin límite y fijamos el muestreo en un nivel adecuado para el throughput del servicio.
Solución
- Comparación de carga controlada con el agente habilitado y deshabilitado para cuantificar el overhead real en lugar de estimarlo
- Corrección del nombrado de transacciones mediante llamadas explícitas a la API para que el router personalizado produzca nombres acotados y significativos
- Resolución de los problemas de agrupación de métricas, eliminando la caché de nombres sin límite dentro del agente que provocaba el crecimiento de memoria
- Reducción del muestreo del tracing distribuido en el servicio de mayor throughput, manteniéndolo completo en las rutas de error
- Reajuste del heap de la JVM y de los límites de memoria de los contenedores para contemplar la huella real del agente en lugar del dimensionamiento previo al agente
- Prueba de la ruta de actualización de versión del agente en staging, bajo una carga similar a la de producción, antes del despliegue
Resultado final
El crecimiento de memoria se detuvo y la latencia p99 volvió a su nivel previo a la actualización. Los datos de transacciones volvieron a ser útiles porque se agrupan por endpoint significativo y no por cada URL distinta.