Volver a todos los casos de uso

RemediaciónMultisectorial

Cerrar los huecos de telemetría que quedan fuera del alcance del soporte del fabricante

Proveedor logístico global

Corrección de huecos intermitentes en la telemetría de Datadog cuyo origen estaba en el buffer del agente, el ciclo de vida de los contenedores y el comportamiento del tráfico de salida en la propia infraestructura del cliente.

Descripción general

Un proveedor logístico veía cómo desaparecían de forma intermitente métricas y trazas de cargas de trabajo de corta duración. El soporte del fabricante confirmó que no había ningún problema en la plataforma, así que había que buscar en las capas del agente y de la infraestructura del propio cliente. AceMQ trabaja precisamente en esas capas.

Reto

Los pods batch de corta duración terminaban antes de que el agente vaciara su buffer, por lo que sus últimas métricas y las trazas de los últimos segundos de ejecución nunca llegaban. Por otra parte, un cambio en una network policy había empezado a descartar parte del tráfico de salida en las horas punta, y el comportamiento de reintentos del agente lo enmascaraba como algo intermitente en lugar de sistemático. Los dos problemas parecían un único síntoma errático, y por eso llevaban meses sin resolverse.

Entorno

Agentes de Datadog desplegados como DaemonSet en Kubernetes con una alta rotación de pods y tráfico de salida a través de una ruta de red compartida con políticas aplicadas.

Enfoque

AceMQ no opera la plataforma del fabricante: trabajamos en las capas que son propiedad del cliente y que el soporte del fabricante no investiga. Instrumentamos la telemetría interna del agente, cruzamos las ventanas con huecos con los eventos del ciclo de vida de los pods y las métricas de salida, y separamos las dos causas superpuestas antes de corregir ninguna.

Solución

  1. Activación y recogida de la telemetría interna del agente para que los vaciados fallidos y los payloads descartados fueran directamente visibles
  2. Cruce de las ventanas con huecos con los eventos de terminación de pods, aislando las cargas de corta duración como una clase de fallo distinta
  3. Ajuste del periodo de gracia de terminación de los pods y del vaciado del agente para que las cargas batch envíen sus últimos datos antes de terminar
  4. Instrumentación de la ruta de salida para poner de manifiesto los descartes en horas punta que los reintentos del agente enmascaraban
  5. Corrección de la network policy y ajuste de los reintentos y el backoff del agente para que los descartes reales aparezcan como errores en lugar de silencio
  6. Alertas sobre los contadores de descartes que notifica el agente, para que cualquier pérdida futura de telemetría se detecte en vez de descubrirse más tarde

Resultado final

Los huecos de telemetría de las cargas de corta duración desaparecieron por completo y la pérdida en horas punta quedó prácticamente en cero tras corregir la política de salida. Ahora el cliente puede distinguir una caída real del servicio de un fallo de recogida, algo que antes era pura conjetura.

Tecnologías

DatadogKubernetesLinuxOpenTelemetry

¿Se enfrenta a un problema de Datadog en producción?

Los ingenieros sénior de Datadog de AceMQ ya han llevado a cabo antes este mismo tipo de proyecto. Tanto si necesita asesoramiento de arquitectura como remediación práctica o una colaboración continua de servicios gestionados, estamos preparados para ayudarle.