Descripción general
La factura de observabilidad de una plataforma de comercio crecía más rápido que su tráfico, impulsada sobre todo por métricas personalizadas que nadie había revisado. AceMQ la ayudó a entender de dónde salía el volumen y a implementar controles que se mantienen a medida que se lanzan nuevos servicios.
Desafío
La facturación de las métricas personalizadas depende de las combinaciones distintas de tags, y varios equipos habían agregado como tags identificadores de despliegue, nombres de pods e identificadores de clientes. Una sola métrica con un tag de nombre de pod en un despliegue con mucha rotación generaba una cantidad enorme de series facturables que ningún dashboard consultaba jamás. La ingesta de logs tenía el mismo problema con otra forma: los logs en nivel debug de un framework muy verboso representaban una gran parte del volumen indexado y nunca se buscaban.
Entorno
Datadog en un entorno de AWS con múltiples cuentas, con cargas de trabajo en Kubernetes, alta frecuencia de despliegues y varios equipos de producto.
Enfoque
No operamos la plataforma del proveedor; ayudamos a los clientes a controlar lo que le envían. El proyecto cuantificó el volumen por origen, estableció qué telemetría se consultaba realmente y luego implementó controles en las capas de emisión y recolección, para que las reducciones no se reviertan sin que nadie lo note en el próximo despliegue.
Solución
- Volumen de métricas personalizadas atribuido a métricas y claves de tag específicas, ordenado según su aporte de series facturables
- Cruce con el uso en consultas para identificar como seguras de eliminar las métricas y los tags que nadie ha consultado nunca
- Definición de un gobierno de tags: los identificadores con valores sin límite van en logs o trazas, nunca en tags de métricas
- Filtrado de métricas y tags aplicado en la capa de recolección, para que la regla se cumpla sin importar lo que emitan las aplicaciones
- Política de indexación de logs separada, para que los logs de alto volumen y bajo valor se retengan sin indexarse para búsqueda
- Estrategia de muestreo de trazas revisada para conservar con fidelidad total las trazas de errores y las lentas, mientras se muestrean las solicitudes exitosas de rutina
Resultado final
El volumen facturable de métricas personalizadas bajó aproximadamente a la mitad sin perder cobertura de dashboards ni de alertas, y el volumen de logs indexados cayó en una proporción similar. Como el filtrado está en la capa de recolección, que un equipo agregue un tag de alta cardinalidad ya no provoca una sorpresa en la factura.