Descripción general
La ingesta de telemetría de un proveedor SaaS crecía muy por delante de su negocio, sin que nadie fuera responsable de ese crecimiento. AceMQ le ayudó a atribuir el volumen, recortar lo que nadie consumía y establecer controles en la capa de recolección para que la reducción se mantenga.
Reto
La ingesta estaba dominada por un número reducido de fuentes: logs de framework muy verbosos reenviados con nivel debug, eventos personalizados emitidos en cada petición que solo se usaban de forma agregada y métricas de infraestructura recogidas con un intervalo mucho más fino del que mostraba cualquier dashboard. Nadie podía ver qué parte de la factura correspondía a la telemetría de cada equipo, así que las conversaciones sobre costes no llevaban a ninguna parte y el crecimiento continuaba trimestre tras trimestre.
Entorno
New Relic en un entorno de AWS con varias cuentas, cargas de trabajo en Kubernetes y varios equipos de producto autónomos.
Enfoque
AceMQ no opera la plataforma del proveedor: ayudamos a los clientes a decidir y controlar qué sale de su infraestructura. El proyecto atribuye la ingesta por equipo y por fuente, comprueba qué se consulta realmente e implanta reglas de descarte y muestreo en la capa de recolección, donde se aplican con independencia de lo que emita cada aplicación.
Solución
- Atribución del volumen de ingesta por equipo, servicio y tipo de telemetría para que el coste tenga un responsable y no sea solo un total
- Cruce con el uso de consultas y dashboards para identificar la telemetría que se ingiere pero nunca se consume
- Reglas de descarte aplicadas en la capa de recolección a las clases de logs y eventos que se ha demostrado que nadie consume
- Corrección de los niveles de reenvío de logs en origen, eliminando la salida debug que se había quedado activada tras incidentes anteriores
- Ajuste de los intervalos de recogida de métricas de infraestructura a la resolución que usan realmente los dashboards y las alertas
- Presupuestos de ingesta por equipo con monitorización, para que un cambio en el logging aparezca como una alerta y no en una factura
Resultado final
El volumen ingerido cayó aproximadamente un cuarenta por ciento sin que ningún dashboard ni ninguna alerta perdiera su fuente de datos. Como la ingesta se atribuye ahora por equipo y tiene presupuesto, el crecimiento es una decisión visible y no una sorpresa trimestral.