Descripción general
Un proveedor logístico veía cómo desaparecían de forma intermitente métricas y trazas de cargas de trabajo de corta duración. El soporte del fabricante confirmó que no había ningún problema en la plataforma, así que había que buscar en las capas del agente y de la infraestructura del propio cliente. AceMQ trabaja precisamente en esas capas.
Reto
Los pods batch de corta duración terminaban antes de que el agente vaciara su buffer, por lo que sus últimas métricas y las trazas de los últimos segundos de ejecución nunca llegaban. Por otra parte, un cambio en una network policy había empezado a descartar parte del tráfico de salida en las horas punta, y el comportamiento de reintentos del agente lo enmascaraba como algo intermitente en lugar de sistemático. Los dos problemas parecían un único síntoma errático, y por eso llevaban meses sin resolverse.
Entorno
Agentes de Datadog desplegados como DaemonSet en Kubernetes con una alta rotación de pods y tráfico de salida a través de una ruta de red compartida con políticas aplicadas.
Enfoque
AceMQ no opera la plataforma del fabricante: trabajamos en las capas que son propiedad del cliente y que el soporte del fabricante no investiga. Instrumentamos la telemetría interna del agente, cruzamos las ventanas con huecos con los eventos del ciclo de vida de los pods y las métricas de salida, y separamos las dos causas superpuestas antes de corregir ninguna.
Solución
- Activación y recogida de la telemetría interna del agente para que los vaciados fallidos y los payloads descartados fueran directamente visibles
- Cruce de las ventanas con huecos con los eventos de terminación de pods, aislando las cargas de corta duración como una clase de fallo distinta
- Ajuste del periodo de gracia de terminación de los pods y del vaciado del agente para que las cargas batch envíen sus últimos datos antes de terminar
- Instrumentación de la ruta de salida para poner de manifiesto los descartes en horas punta que los reintentos del agente enmascaraban
- Corrección de la network policy y ajuste de los reintentos y el backoff del agente para que los descartes reales aparezcan como errores en lugar de silencio
- Alertas sobre los contadores de descartes que notifica el agente, para que cualquier pérdida futura de telemetría se detecte en vez de descubrirse más tarde
Resultado final
Los huecos de telemetría de las cargas de corta duración desaparecieron por completo y la pérdida en horas punta quedó prácticamente en cero tras corregir la política de salida. Ahora el cliente puede distinguir una caída real del servicio de un fallo de recogida, algo que antes era pura conjetura.