Volver a todos los casos de uso

RemediaciónMultisectorial

Cerrar los huecos de telemetría que quedan fuera del alcance del soporte del proveedor

Proveedor global de logística

Solución de huecos intermitentes en la telemetría de Datadog cuyo origen estaba en el buffering del agente, el ciclo de vida de los contenedores y el comportamiento del tráfico de salida en la propia infraestructura del cliente.

Descripción general

A un proveedor de logística le desaparecían de forma intermitente métricas y trazas de las cargas de trabajo de corta duración. El soporte del proveedor confirmó que no había ningún problema del lado de la plataforma, así que había que buscar en las capas del agente y de la infraestructura del propio cliente. AceMQ trabaja en esas capas.

Desafío

Los pods batch de corta duración terminaban antes de que el agente vaciara su buffer, de modo que sus últimas métricas y las trazas de los segundos finales de ejecución nunca llegaban. Por otro lado, un cambio en una network policy había empezado a descartar parte del tráfico de salida en las horas pico, y el comportamiento de reintentos del agente hacía que pareciera intermitente y no sistemático. Los dos problemas parecían un único síntoma errático, y por eso habían quedado sin resolver durante meses.

Entorno

Agentes de Datadog desplegados como DaemonSet en Kubernetes con alta rotación de pods y tráfico de salida a través de una ruta de red compartida con políticas aplicadas.

Enfoque

AceMQ no opera la plataforma del proveedor: trabajamos en las capas que pertenecen al cliente y que el soporte del proveedor no investiga. Instrumentamos la telemetría propia del agente, correlacionamos las ventanas con huecos con los eventos del ciclo de vida de los pods y con las métricas de tráfico de salida, y separamos las dos causas superpuestas antes de corregir cualquiera de ellas.

Solución

  1. Habilitación y recolección de la telemetría interna del agente para que las fallas de flush y los payloads descartados fueran directamente visibles
  2. Correlación de las ventanas con huecos con los eventos de terminación de pods, lo que aisló a las cargas de trabajo de corta duración como una clase de falla distinta
  3. Ajuste del grace period de terminación de los pods y del comportamiento de flush del agente para que las cargas batch reporten sus datos finales antes de terminar
  4. Instrumentación de la ruta de salida para exponer los descartes en las horas pico que los reintentos del agente venían ocultando
  5. Corrección de la network policy y ajuste de los reintentos y el backoff del agente para que los descartes reales aparezcan como errores en lugar de pasar en silencio
  6. Alertas sobre la cantidad de descartes que reporta el agente, para que cualquier pérdida futura de telemetría se detecte y no se descubra tiempo después

Resultado final

Los huecos de telemetría en las cargas de trabajo de corta duración desaparecieron por completo, y la pérdida en las horas pico llegó prácticamente a cero una vez corregida la política de salida. Ahora el cliente puede distinguir una caída real de un servicio de una falla de recolección, algo que antes era pura conjetura.

Tecnologías

DatadogKubernetesLinuxOpenTelemetry

¿Enfrenta un problema de Datadog en producción?

Los ingenieros sénior de Datadog de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.