Volver a todos los casos de uso

ConsultoríaSoftware / Plataformas digitales

Un gobierno de la cardinalidad de métricas personalizadas que sobrevive al próximo despliegue

Plataforma de comercio digital

Proyecto de consultoría para gobernar la cardinalidad de las métricas personalizadas, la ingesta de logs y el volumen de trazas, de modo que el gasto en observabilidad siga al valor y no al azar.

Descripción general

La factura de observabilidad de una plataforma de comercio crecía más rápido que su tráfico, impulsada sobre todo por métricas personalizadas que nadie había revisado. AceMQ la ayudó a entender de dónde salía el volumen y a implementar controles que se mantienen a medida que se lanzan nuevos servicios.

Desafío

La facturación de las métricas personalizadas depende de las combinaciones distintas de tags, y varios equipos habían agregado como tags identificadores de despliegue, nombres de pods e identificadores de clientes. Una sola métrica con un tag de nombre de pod en un despliegue con mucha rotación generaba una cantidad enorme de series facturables que ningún dashboard consultaba jamás. La ingesta de logs tenía el mismo problema con otra forma: los logs en nivel debug de un framework muy verboso representaban una gran parte del volumen indexado y nunca se buscaban.

Entorno

Datadog en un entorno de AWS con múltiples cuentas, con cargas de trabajo en Kubernetes, alta frecuencia de despliegues y varios equipos de producto.

Enfoque

No operamos la plataforma del proveedor; ayudamos a los clientes a controlar lo que le envían. El proyecto cuantificó el volumen por origen, estableció qué telemetría se consultaba realmente y luego implementó controles en las capas de emisión y recolección, para que las reducciones no se reviertan sin que nadie lo note en el próximo despliegue.

Solución

  1. Volumen de métricas personalizadas atribuido a métricas y claves de tag específicas, ordenado según su aporte de series facturables
  2. Cruce con el uso en consultas para identificar como seguras de eliminar las métricas y los tags que nadie ha consultado nunca
  3. Definición de un gobierno de tags: los identificadores con valores sin límite van en logs o trazas, nunca en tags de métricas
  4. Filtrado de métricas y tags aplicado en la capa de recolección, para que la regla se cumpla sin importar lo que emitan las aplicaciones
  5. Política de indexación de logs separada, para que los logs de alto volumen y bajo valor se retengan sin indexarse para búsqueda
  6. Estrategia de muestreo de trazas revisada para conservar con fidelidad total las trazas de errores y las lentas, mientras se muestrean las solicitudes exitosas de rutina

Resultado final

El volumen facturable de métricas personalizadas bajó aproximadamente a la mitad sin perder cobertura de dashboards ni de alertas, y el volumen de logs indexados cayó en una proporción similar. Como el filtrado está en la capa de recolección, que un equipo agregue un tag de alta cardinalidad ya no provoca una sorpresa en la factura.

Tecnologías

DatadogKubernetesTerraformOpenTelemetry

¿Necesita orientación de arquitectura para Datadog?

Los ingenieros sénior de Datadog de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.