Descripción general
La factura de observabilidad de una plataforma de comercio crecía más deprisa que su tráfico, sobre todo por métricas personalizadas que nadie había revisado. AceMQ le ayudó a entender de dónde venía el volumen y a implantar controles que se mantienen a medida que se publican nuevos servicios.
Reto
La facturación de las métricas personalizadas depende de las combinaciones distintas de etiquetas, y varios equipos habían añadido como etiquetas identificadores de despliegue, nombres de pods e identificadores de clientes. Una sola métrica con una etiqueta de nombre de pod en un despliegue con mucha rotación generaba una cantidad enorme de series facturables que ningún dashboard consultaba jamás. La ingesta de logs tenía el mismo problema con otra forma: los logs de nivel debug de un framework muy verboso suponían una gran parte del volumen indexado y nunca se buscaban.
Entorno
Datadog en un entorno de AWS con varias cuentas, cargas de trabajo en Kubernetes, alta frecuencia de despliegue y varios equipos de producto.
Enfoque
No operamos la plataforma del proveedor; ayudamos a los clientes a controlar lo que le envían. El proyecto cuantificó el volumen por origen, estableció qué telemetría se consultaba realmente y después implantó controles en las capas de emisión y de recolección para que las reducciones no se reviertan sin que nadie lo note en el siguiente despliegue.
Solución
- Atribución del volumen de métricas personalizadas a métricas y claves de etiqueta concretas, ordenadas por su contribución a las series facturables
- Cruce con el uso en consultas para identificar como seguras de descartar las métricas y etiquetas que nadie ha consultado nunca
- Definición del gobierno de etiquetas: los identificadores con valores sin límite van en logs o trazas, nunca en etiquetas de métricas
- Filtrado de métricas y etiquetas en la capa de recolección para que la regla se aplique con independencia de lo que emitan las aplicaciones
- Política de indexación de logs separada para que los logs de gran volumen y poco valor se conserven sin indexarse para búsqueda
- Revisión de la estrategia de muestreo de trazas para conservar con fidelidad completa las trazas con errores y las lentas, y muestrear las peticiones rutinarias que terminan bien
Resultado final
El volumen facturable de métricas personalizadas se redujo aproximadamente a la mitad sin perder cobertura en dashboards ni alertas, y el volumen de logs indexados cayó en una proporción similar. Como el filtrado está en la capa de recolección, un equipo que añade una etiqueta de alta cardinalidad ya no provoca una sorpresa en la factura.