Descripción general
Un grupo de servicios financieros tenía las métricas en una herramienta, los logs en otra y las trazas en una tercera, sin identificadores compartidos entre ellas. AceMQ diseñó la consolidación en una pila con Grafana como frontal, donde un ingeniero puede pasar de un pico en una métrica a los logs y trazas correspondientes sin tener que reconstruir el contexto.
Reto
Los tres tipos de señal usaban nombres distintos para las mismas cosas: los nombres de los servicios variaban en mayúsculas y sufijos, los entornos se etiquetaban de forma incoherente y en los logs no había ningún identificador de traza o de petición compartido. Correlacionar una alerta con sus logs obligaba a una persona a traducir entre esquemas de nombres con prisas. Además, los agentes duplicados en todo el parque hacían que un mismo host se recolectara varias veces.
Entorno
Parque híbrido con cargas de trabajo en Kubernetes y máquinas virtuales heredadas, y varios entornos regulados que exigen separación por residencia de datos.
Enfoque
El diseño empezó por una taxonomía de etiquetas y no por las herramientas, porque la correlación es un problema de nomenclatura antes que de producto. Definimos un conjunto obligatorio de etiquetas aplicado de forma uniforme en métricas, logs y trazas, especificamos la propagación del contexto de traza para que las líneas de log lleven el identificador de traza y, a continuación, diseñamos la topología de recogida que lo impone en la capa de agentes.
Solución
- Taxonomía obligatoria de etiquetas para servicio, entorno, región y equipo, aplicada de forma idéntica en métricas, logs y trazas
- Diseño de la propagación del contexto de traza para que las líneas de log lleven los identificadores de traza y span, de modo que pasar de métrica a log y a traza sea cuestión de un clic
- Racionalización de la topología de recogida a un único agente por host, eliminando las recolecciones duplicadas y su coste de almacenamiento
- Aplicación de los límites de residencia de datos en la capa de recogida para que las regiones reguladas nunca envíen telemetría fuera de sus fronteras
- Definición de niveles de retención por tipo de señal: los datos de alta resolución se conservan poco tiempo y los datos submuestreados, mucho
- Migración secuenciada servicio a servicio con periodos de doble emisión para que ningún equipo pierda visibilidad durante la transición
Resultado final
Los ingenieros pasan ahora directamente en Grafana de una alerta a los logs y la traza correlacionados, en lugar de traducir identificadores a mano. Eliminar la recogida duplicada redujo de forma apreciable el volumen de telemetría, y la taxonomía compartida se ha mantenido a medida que se incorporan nuevos servicios.