Volver a todos los casos de uso

EvaluaciónServicios financieros / Pagos

Encontrar dónde se corta la traza y por qué nadie se dio cuenta

Procesador de pagos global

Evaluación de la cobertura de la instrumentación APM y de la completitud de las trazas en un conjunto de servicios en el que las trazas distribuidas se rompían una y otra vez en las fronteras entre servicios.

Descripción general

Un procesador de pagos tenía APM activado de forma generalizada, pero las trazas terminaban habitualmente en la frontera entre los servicios más nuevos y los más antiguos. AceMQ evaluó la cobertura de instrumentación de todo el entorno para identificar con exactitud dónde se rompía la propagación del contexto.

Reto

Los servicios más nuevos usaban auto-instrumentación, mientras que varios de los antiguos se habían instrumentado a mano años atrás con una versión mucho más antigua de la biblioteca. Cuando una petición pasaba de unos a otros, se perdían las cabeceras de contexto de la traza, de modo que una única transacción lógica aparecía como varias trazas sin relación entre sí. Los saltos asíncronos a través de brokers de mensajería perdían el contexto por completo. El resultado era que la latencia en las partes del sistema que más importaban al negocio resultaba invisible, mientras que los servicios bien instrumentados parecían estar cubiertos por completo.

Entorno

Entorno híbrido con servicios en Kubernetes y aplicaciones heredadas alojadas en máquinas virtuales, en Java y Python, con mensajería entre capas.

Enfoque

La evaluación inventaría las versiones de la biblioteca del tracer y el método de instrumentación de cada servicio, y después sigue de extremo a extremo rutas reales de peticiones en producción para encontrar dónde se pierde realmente el contexto. Como AceMQ no opera la plataforma del proveedor, todos los hallazgos se refieren al código, las bibliotecas y la configuración de propagación del cliente, es decir, a lo que puede cambiar.

Solución

  1. Inventario de la versión de la biblioteca del tracer y del método de instrumentación de cada servicio, señalando las versiones con valores por defecto de propagación incompatibles
  2. Seguimiento de extremo a extremo de rutas reales de peticiones en producción para localizar el salto exacto en el que se pierde el contexto
  3. Evaluación por separado de los saltos asíncronos y basados en mensajes, ya que en ellos la propagación del contexto requiere un tratamiento explícito del carrier
  4. Revisión de la configuración de muestreo de cada servicio para que las decisiones de muestreo en cabecera no descarten sin avisar las trazas que importan
  5. Plan de remediación de la instrumentación priorizado según las rutas críticas para el negocio y no según la facilidad de la corrección
  6. Evaluación de la migración a una instrumentación OpenTelemetry neutral respecto al proveedor para los servicios que de todos modos había que rehacer

Resultado final

La completitud de las trazas de extremo a extremo en la ruta principal de pagos pasó de fragmentaria a prácticamente total, lo que sacó a la luz un factor de latencia en un servicio heredado que nunca había aparecido en ningún dashboard. El backlog de remediación está ordenado por impacto en el negocio y no según qué equipo se ofreció voluntario.

Tecnologías

DatadogOpenTelemetryKubernetesJavaPython

¿Preparado para un health check de Datadog?

Los ingenieros sénior de Datadog de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.