Descripción general
Un procesador de pagos tenía APM activado de forma generalizada, pero las trazas terminaban habitualmente en la frontera entre los servicios más nuevos y los más antiguos. AceMQ evaluó la cobertura de instrumentación de todo el entorno para identificar con exactitud dónde se rompía la propagación del contexto.
Reto
Los servicios más nuevos usaban auto-instrumentación, mientras que varios de los antiguos se habían instrumentado a mano años atrás con una versión mucho más antigua de la biblioteca. Cuando una petición pasaba de unos a otros, se perdían las cabeceras de contexto de la traza, de modo que una única transacción lógica aparecía como varias trazas sin relación entre sí. Los saltos asíncronos a través de brokers de mensajería perdían el contexto por completo. El resultado era que la latencia en las partes del sistema que más importaban al negocio resultaba invisible, mientras que los servicios bien instrumentados parecían estar cubiertos por completo.
Entorno
Entorno híbrido con servicios en Kubernetes y aplicaciones heredadas alojadas en máquinas virtuales, en Java y Python, con mensajería entre capas.
Enfoque
La evaluación inventaría las versiones de la biblioteca del tracer y el método de instrumentación de cada servicio, y después sigue de extremo a extremo rutas reales de peticiones en producción para encontrar dónde se pierde realmente el contexto. Como AceMQ no opera la plataforma del proveedor, todos los hallazgos se refieren al código, las bibliotecas y la configuración de propagación del cliente, es decir, a lo que puede cambiar.
Solución
- Inventario de la versión de la biblioteca del tracer y del método de instrumentación de cada servicio, señalando las versiones con valores por defecto de propagación incompatibles
- Seguimiento de extremo a extremo de rutas reales de peticiones en producción para localizar el salto exacto en el que se pierde el contexto
- Evaluación por separado de los saltos asíncronos y basados en mensajes, ya que en ellos la propagación del contexto requiere un tratamiento explícito del carrier
- Revisión de la configuración de muestreo de cada servicio para que las decisiones de muestreo en cabecera no descarten sin avisar las trazas que importan
- Plan de remediación de la instrumentación priorizado según las rutas críticas para el negocio y no según la facilidad de la corrección
- Evaluación de la migración a una instrumentación OpenTelemetry neutral respecto al proveedor para los servicios que de todos modos había que rehacer
Resultado final
La completitud de las trazas de extremo a extremo en la ruta principal de pagos pasó de fragmentaria a prácticamente total, lo que sacó a la luz un factor de latencia en un servicio heredado que nunca había aparecido en ningún dashboard. El backlog de remediación está ordenado por impacto en el negocio y no según qué equipo se ofreció voluntario.