Descripción general
Un grupo de servicios financieros tenía las métricas en una herramienta, los logs en otra y las trazas en una tercera, sin identificadores compartidos entre ellas. AceMQ diseñó la consolidación en un stack con Grafana al frente, donde un ingeniero puede pasar de un pico en una métrica a los logs y las trazas relevantes sin tener que reconstruir el contexto.
Desafío
Los tres tipos de señales usaban nombres distintos para las mismas cosas: los nombres de los servicios diferían en mayúsculas y sufijos, los entornos se etiquetaban de forma inconsistente y los logs no tenían ningún identificador compartido de traza o de solicitud. Correlacionar una alerta con sus logs implicaba que una persona tradujera entre esquemas de nombres bajo presión de tiempo. Además, los agentes duplicados en todo el entorno hacían que el mismo host se scrapeara varias veces.
Entorno
Entorno híbrido con cargas de trabajo en Kubernetes y máquinas virtuales heredadas, y varios entornos regulados que exigen separación por residencia de datos.
Enfoque
El trabajo de diseño empezó por una taxonomía de labels y no por las herramientas, porque la correlación es un problema de nombres antes que un problema de producto. Definimos un conjunto obligatorio de labels aplicado de forma uniforme a métricas, logs y trazas, especificamos la propagación del contexto de traza para que las líneas de log lleven el identificador de traza y luego diseñamos la topología de recolección que lo impone en la capa de agentes.
Solución
- Definición de una taxonomía obligatoria de labels para servicio, entorno, región y equipo, aplicada de forma idéntica a métricas, logs y trazas
- Diseño de la propagación del contexto de traza para que las líneas de log lleven los identificadores de traza y de span, de modo que pasar de la métrica al log y a la traza sea cuestión de un clic
- Racionalización de la topología de recolección a un único agente por host, eliminando los scrapes duplicados y su costo de almacenamiento
- Aplicación de los límites de residencia de datos en la capa de recolección para que las regiones reguladas nunca envíen telemetría a través de fronteras
- Definición de niveles de retención por tipo de señal, con poco tiempo de conservación para los datos de alta resolución y más tiempo para los datos con downsampling
- Migración secuenciada servicio por servicio, con períodos de doble emisión para que ningún equipo pierda visibilidad durante la transición
Resultado final
Los ingenieros ahora pasan de una alerta a los logs y la traza correlacionados directamente en Grafana, en lugar de traducir identificadores a mano. Eliminar la recolección duplicada redujo de forma notable el volumen de telemetría, y la taxonomía compartida se ha mantenido a medida que se incorporan nuevos servicios.