Torna a tutti i casi d'uso

RemediationTrasversale

Colmare le lacune di telemetria che si trovano oltre il perimetro del supporto del vendor

Fornitore globale di servizi logistici

Remediation di lacune intermittenti nella telemetria Datadog, ricondotte al buffering dell'agent, al ciclo di vita dei container e al comportamento del traffico di rete in uscita sull'infrastruttura del cliente.

Panoramica

Un fornitore di servizi logistici vedeva sparire a intermittenza metriche e trace dei workload di breve durata. Il supporto del vendor aveva confermato che lato piattaforma non c'era alcun problema, per cui restavano da esaminare l'agent e i livelli infrastrutturali del cliente. AceMQ interviene proprio su quei livelli.

Sfida

I pod batch di breve durata terminavano prima che l'agent svuotasse il proprio buffer, per cui le loro metriche finali e le trace degli ultimi secondi di esecuzione non arrivavano mai. Separatamente, una modifica a una network policy aveva iniziato a scartare una parte del traffico in uscita nelle fasce di picco, e il comportamento di retry dell'agent lo mascherava come un problema intermittente anziché sistematico. I due problemi sembravano un unico sintomo instabile, ed è per questo che erano rimasti irrisolti per mesi.

Ambiente

Agent Datadog distribuiti come DaemonSet su Kubernetes con un elevato ricambio di pod, con traffico in uscita su un percorso di rete condiviso soggetto all'applicazione di policy.

Approccio

AceMQ non gestisce la piattaforma del vendor: lavoriamo sui livelli di proprietà del cliente, che il supporto del vendor non indaga. Abbiamo strumentato la telemetria interna dell'agent, correlato le finestre di lacuna con gli eventi del ciclo di vita dei pod e le metriche del traffico in uscita, e separato le due cause sovrapposte prima di correggerle.

Soluzione

  1. Telemetria interna dell'agent abilitata e raccolta, così che flush non riusciti e payload scartati diventassero direttamente visibili
  2. Finestre di lacuna correlate con gli eventi di terminazione dei pod, isolando i workload di breve durata come classe di guasto distinta
  3. Grace period di terminazione dei pod e comportamento di flush dell'agent regolati, così che i workload batch inviino i dati finali prima di uscire
  4. Percorso del traffico in uscita strumentato per far emergere le perdite nelle fasce di picco che i retry dell'agent mascheravano
  5. Network policy corretta e impostazioni di retry e backoff dell'agent tarate, così che le perdite reali emergano come errori invece che come silenzio
  6. Aggiunto alerting sui conteggi di perdite riportati dall'agent, così che future perdite di telemetria vengano rilevate anziché scoperte a posteriori

Esito

Le lacune di telemetria per i workload di breve durata sono scomparse del tutto e le perdite nelle fasce di picco si sono di fatto azzerate una volta corretta la policy sul traffico in uscita. Il cliente oggi è in grado di distinguere un vero disservizio da un errore di raccolta, cosa che prima era affidata alle supposizioni.

Tecnologie

DatadogKubernetesLinuxOpenTelemetry

Avete un problema di produzione su Datadog?

Gli ingegneri Datadog senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.