Descripción general
Un procesador de pagos creía que todo su entorno estaba instrumentado hasta que una caída en un componente sin cobertura tardó horas en localizarse. AceMQ evaluó la cobertura real de los servicios, las dependencias y el trabajo en segundo plano.
Desafío
La cobertura parecía completa porque cada servicio desplegado tenía un agente instalado. Lo que el inventario no mostraba era que varias rutas de código críticas eran invisibles de todos modos: los workers en segundo plano y los jobs programados no producían transacciones porque nada marcaba sus puntos de entrada, la auto-instrumentación no reconocía las capas de acceso a datos personalizadas y las llamadas salientes a través de un wrapper interno de cliente HTTP aparecían como segmentos externos genéricos, sin atribución del destino. El mapa mostraba cobertura; la realidad tenía huecos justo donde la depuración era más difícil.
Entorno
Entorno híbrido con servicios en Java y Node.js, procesamiento batch programado y bibliotecas personalizadas de acceso a datos y de cliente HTTP.
Enfoque
En lugar de contar agentes, la evaluación contrasta la telemetría que cada servicio produce realmente con lo que ese servicio realmente hace. Comparamos el inventario de despliegues con las entidades que reportan, inspeccionamos los datos de transacciones y segmentos de cada servicio en busca de las formas esperadas y sondeamos específicamente las áreas que se sabe que la auto-instrumentación pasa por alto.
Solución
- Conciliación del inventario de despliegues con las entidades que reportan para encontrar servicios desplegados que no reportan sin que nadie lo note
- Inspección de los datos de transacciones y segmentos de cada servicio en busca de las formas esperadas, en lugar de suponer que un agente instalado equivale a cobertura
- Verificación específica de workers en segundo plano, jobs programados y consumer loops, que rara vez se instrumentan automáticamente
- Identificación de los wrappers personalizados de acceso a datos y de cliente HTTP como puntos ciegos de instrumentación, con una corrección explícita definida
- Mapeo de la cobertura de alertas y dashboards frente a las rutas críticas para el negocio, para encontrar componentes monitoreados sin alertas
- Backlog de corrección priorizado según el radio de impacto, con el esfuerzo estimado para cada punto
Resultado final
Aproximadamente una quinta parte de las rutas de código críticas para el negocio resultó ser invisible para el APM a pesar de que había agentes instalados. Con instrumentación personalizada agregada en los huecos de mayor prioridad, el tipo de caída que antes tardaba horas en localizarse ahora es visible en los primeros minutos.