Volver a todos los casos de uso

ConsultoríaServicios financieros / Trading

Un solo lugar donde mirar, con labels que realmente permiten pasar de una señal a otra

Grupo de servicios financieros

Proyecto de consultoría para consolidar métricas, logs y trazas fragmentados en una única capa de observabilidad basada en Grafana, con un etiquetado coherente.

Descripción general

Un grupo de servicios financieros tenía las métricas en una herramienta, los logs en otra y las trazas en una tercera, sin identificadores compartidos entre ellas. AceMQ diseñó la consolidación en un stack con Grafana al frente, donde un ingeniero puede pasar de un pico en una métrica a los logs y las trazas relevantes sin tener que reconstruir el contexto.

Desafío

Los tres tipos de señales usaban nombres distintos para las mismas cosas: los nombres de los servicios diferían en mayúsculas y sufijos, los entornos se etiquetaban de forma inconsistente y los logs no tenían ningún identificador compartido de traza o de solicitud. Correlacionar una alerta con sus logs implicaba que una persona tradujera entre esquemas de nombres bajo presión de tiempo. Además, los agentes duplicados en todo el entorno hacían que el mismo host se scrapeara varias veces.

Entorno

Entorno híbrido con cargas de trabajo en Kubernetes y máquinas virtuales heredadas, y varios entornos regulados que exigen separación por residencia de datos.

Enfoque

El trabajo de diseño empezó por una taxonomía de labels y no por las herramientas, porque la correlación es un problema de nombres antes que un problema de producto. Definimos un conjunto obligatorio de labels aplicado de forma uniforme a métricas, logs y trazas, especificamos la propagación del contexto de traza para que las líneas de log lleven el identificador de traza y luego diseñamos la topología de recolección que lo impone en la capa de agentes.

Solución

  1. Definición de una taxonomía obligatoria de labels para servicio, entorno, región y equipo, aplicada de forma idéntica a métricas, logs y trazas
  2. Diseño de la propagación del contexto de traza para que las líneas de log lleven los identificadores de traza y de span, de modo que pasar de la métrica al log y a la traza sea cuestión de un clic
  3. Racionalización de la topología de recolección a un único agente por host, eliminando los scrapes duplicados y su costo de almacenamiento
  4. Aplicación de los límites de residencia de datos en la capa de recolección para que las regiones reguladas nunca envíen telemetría a través de fronteras
  5. Definición de niveles de retención por tipo de señal, con poco tiempo de conservación para los datos de alta resolución y más tiempo para los datos con downsampling
  6. Migración secuenciada servicio por servicio, con períodos de doble emisión para que ningún equipo pierda visibilidad durante la transición

Resultado final

Los ingenieros ahora pasan de una alerta a los logs y la traza correlacionados directamente en Grafana, en lugar de traducir identificadores a mano. Eliminar la recolección duplicada redujo de forma notable el volumen de telemetría, y la taxonomía compartida se ha mantenido a medida que se incorporan nuevos servicios.

Tecnologías

GrafanaPrometheusLokiTempoKubernetes

¿Necesita orientación de arquitectura para Grafana?

Los ingenieros sénior de Grafana de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.