Panoramica
Un fornitore di servizi logistici vedeva sparire a intermittenza metriche e trace dei workload di breve durata. Il supporto del vendor aveva confermato che lato piattaforma non c'era alcun problema, per cui restavano da esaminare l'agent e i livelli infrastrutturali del cliente. AceMQ interviene proprio su quei livelli.
Sfida
I pod batch di breve durata terminavano prima che l'agent svuotasse il proprio buffer, per cui le loro metriche finali e le trace degli ultimi secondi di esecuzione non arrivavano mai. Separatamente, una modifica a una network policy aveva iniziato a scartare una parte del traffico in uscita nelle fasce di picco, e il comportamento di retry dell'agent lo mascherava come un problema intermittente anziché sistematico. I due problemi sembravano un unico sintomo instabile, ed è per questo che erano rimasti irrisolti per mesi.
Ambiente
Agent Datadog distribuiti come DaemonSet su Kubernetes con un elevato ricambio di pod, con traffico in uscita su un percorso di rete condiviso soggetto all'applicazione di policy.
Approccio
AceMQ non gestisce la piattaforma del vendor: lavoriamo sui livelli di proprietà del cliente, che il supporto del vendor non indaga. Abbiamo strumentato la telemetria interna dell'agent, correlato le finestre di lacuna con gli eventi del ciclo di vita dei pod e le metriche del traffico in uscita, e separato le due cause sovrapposte prima di correggerle.
Soluzione
- Telemetria interna dell'agent abilitata e raccolta, così che flush non riusciti e payload scartati diventassero direttamente visibili
- Finestre di lacuna correlate con gli eventi di terminazione dei pod, isolando i workload di breve durata come classe di guasto distinta
- Grace period di terminazione dei pod e comportamento di flush dell'agent regolati, così che i workload batch inviino i dati finali prima di uscire
- Percorso del traffico in uscita strumentato per far emergere le perdite nelle fasce di picco che i retry dell'agent mascheravano
- Network policy corretta e impostazioni di retry e backoff dell'agent tarate, così che le perdite reali emergano come errori invece che come silenzio
- Aggiunto alerting sui conteggi di perdite riportati dall'agent, così che future perdite di telemetria vengano rilevate anziché scoperte a posteriori
Esito
Le lacune di telemetria per i workload di breve durata sono scomparse del tutto e le perdite nelle fasce di picco si sono di fatto azzerate una volta corretta la policy sul traffico in uscita. Il cliente oggi è in grado di distinguere un vero disservizio da un errore di raccolta, cosa che prima era affidata alle supposizioni.