Volver a todos los casos de uso

EvaluaciónServicios financieros / Pagos

Encontrar dónde se corta la traza y por qué nadie lo había notado

Procesador global de pagos

Evaluación de la cobertura de instrumentación APM y de la completitud de las trazas en un conjunto de servicios donde las trazas distribuidas se cortaban una y otra vez en los límites entre servicios.

Descripción general

Un procesador de pagos tenía APM habilitado de forma amplia, pero las trazas terminaban sistemáticamente en el límite entre los servicios nuevos y los antiguos. AceMQ evaluó la cobertura de instrumentación en todo el entorno para identificar con exactitud dónde se rompía la propagación del contexto.

Desafío

Los servicios nuevos usaban instrumentación automática, mientras que varios de los antiguos se habían instrumentado a mano años atrás con una versión mucho más vieja de la librería. Cuando una solicitud pasaba de unos a otros, se perdían los headers de contexto de la traza, de modo que una sola transacción lógica aparecía como varias trazas sin relación entre sí. En los saltos asíncronos a través de brokers de mensajería el contexto se perdía por completo. El resultado era que la latencia en las partes del sistema que más le importaban al negocio resultaba invisible, mientras que los servicios bien instrumentados parecían tener una cobertura completa.

Entorno

Entorno híbrido con servicios en Kubernetes y aplicaciones heredadas alojadas en máquinas virtuales, en Java y Python, con mensajería entre capas.

Enfoque

La evaluación inventaría las versiones de la librería del tracer y el método de instrumentación de cada servicio, y luego sigue de punta a punta rutas reales de solicitudes en producción para encontrar dónde se pierde realmente el contexto. Como AceMQ no opera la plataforma del proveedor, todos los hallazgos se refieren al código, las librerías y la configuración de propagación del cliente, es decir, a lo que el cliente sí puede cambiar.

Solución

  1. Inventario de la versión de la librería del tracer y del método de instrumentación por servicio, señalando las versiones con valores predeterminados de propagación incompatibles
  2. Seguimiento de punta a punta de rutas reales de solicitudes en producción para ubicar el salto exacto donde se pierde el contexto
  3. Evaluación por separado de los saltos asíncronos y basados en mensajes, ya que allí la propagación del contexto requiere un manejo explícito del carrier
  4. Revisión de la configuración de muestreo por servicio para que las decisiones de muestreo head-based no descarten en silencio las trazas que importan
  5. Plan priorizado de corrección de la instrumentación, ordenado según la ruta crítica para el negocio y no según la facilidad de la corrección
  6. Evaluación de una ruta de migración hacia instrumentación neutral respecto al proveedor con OpenTelemetry para los servicios que de todos modos debían rehacerse

Resultado final

La completitud de las trazas de punta a punta en la ruta principal de pagos pasó de fragmentaria a casi total, lo que sacó a la luz una fuente de latencia en un servicio heredado que nunca había aparecido en ningún dashboard. El backlog de correcciones está ordenado por impacto en el negocio y no según qué equipo se ofreció primero.

Tecnologías

DatadogOpenTelemetryKubernetesJavaPython

¿Listo para un health check de Datadog?

Los ingenieros sénior de Datadog de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.