Descripción general
Una plataforma de comercio vio cómo subía la latencia p99 y crecía de forma constante la memoria de los contenedores tras una actualización del agente. AceMQ corrigió la configuración del agente y su interacción con la JVM, que es la parte que corresponde al cliente y que el soporte del fabricante no ajusta.
Reto
El nombrado de transacciones estaba recurriendo a un esquema por URL porque la instrumentación del framework no reconocía un router personalizado, así que cada ruta distinta generaba una transacción diferente. Eso provocaba problemas de agrupación de métricas y una gran caché de nombres dentro del agente que crecía con el tráfico. Además, el tracing distribuido se había activado con muestreo completo en un servicio de muy alto throughput, lo que añadía una sobrecarga medible por petición y una presión de asignación de memoria constante que se traducía en pausas de recolección de basura más largas.
Entorno
Servicios Java en Kubernetes con un framework de enrutamiento personalizado, alto throughput de peticiones y contenedores con memoria limitada.
Enfoque
Separamos la sobrecarga atribuible al agente del comportamiento de la aplicación mediante comparaciones controladas con el agente activado y desactivado bajo la misma carga. Una vez cuantificado el coste del agente, corregimos el nombrado de transacciones para que dejara de generar nombres sin límite y fijamos el muestreo en un nivel adecuado al throughput del servicio.
Solución
- Comparación controlada bajo carga con el agente activado y desactivado para cuantificar la sobrecarga real en lugar de estimarla
- Corrección del nombrado de transacciones mediante llamadas explícitas a la API para que el router personalizado genere nombres acotados y con sentido
- Resolución de los problemas de agrupación de métricas, eliminando la caché de nombres sin límite dentro del agente que provocaba el crecimiento de memoria
- Reducción del muestreo del tracing distribuido en el servicio de mayor throughput, manteniéndolo completo en las rutas de error
- Reajuste del heap de la JVM y de los límites de memoria de los contenedores para contemplar la huella real del agente en lugar del dimensionamiento previo a su instalación
- Prueba en staging, bajo una carga similar a la de producción, de la ruta de actualización de versión del agente antes del despliegue
Resultado final
El crecimiento de memoria se detuvo y la latencia p99 volvió a su nivel anterior a la actualización. Los datos de transacciones volvieron a ser útiles porque se agrupan por endpoints con sentido y no por cada URL distinta.