Panoramica
Un processore di pagamenti aveva l'APM attivato su larga scala, ma le trace si interrompevano regolarmente al confine tra servizi più recenti e servizi più datati. AceMQ ha valutato la copertura della strumentazione sull'intero parco per individuare esattamente dove si interrompesse la propagazione del contesto.
Sfida
I servizi più recenti usavano l'auto-strumentazione, mentre diversi servizi più vecchi erano stati strumentati a mano anni prima su una versione della libreria molto più datata. Quando una richiesta passava dagli uni agli altri, gli header del contesto di trace andavano persi, per cui una singola transazione logica compariva come diverse trace scollegate. Gli hop asincroni attraverso i message broker perdevano completamente il contesto. Il risultato era che la latenza nelle parti del sistema più importanti per il business restava invisibile, mentre i servizi ben strumentati sembravano coperti in modo esaustivo.
Ambiente
Parco ibrido con servizi su Kubernetes e applicazioni legacy ospitate su macchine virtuali in Java e Python, con messaggistica tra i livelli.
Approccio
L'assessment censisce per ciascun servizio la versione della libreria tracer e il metodo di strumentazione, poi traccia end-to-end i percorsi reali delle richieste di produzione per trovare dove il contesto si perde davvero. Poiché AceMQ non gestisce la piattaforma del vendor, tutti i rilievi riguardano codice, librerie e configurazione della propagazione del cliente, ossia le parti su cui può intervenire.
Soluzione
- Censimento per servizio della versione della libreria tracer e del metodo di strumentazione, segnalando le versioni con default di propagazione incompatibili
- Percorsi reali delle richieste di produzione tracciati end-to-end per individuare l'hop esatto in cui il contesto va perso
- Hop asincroni e basati su messaggi valutati a parte, perché lì la propagazione del contesto richiede una gestione esplicita del carrier
- Configurazione del sampling rivista per servizio, così che le decisioni di head-based sampling non scartino in silenzio le trace che contano
- Piano di remediation della strumentazione ordinato per percorso critico per il business anziché per facilità di intervento
- Valutato un percorso di migrazione verso una strumentazione OpenTelemetry vendor-neutral per i servizi che andavano comunque rielaborati
Esito
La completezza end-to-end delle trace sul percorso di pagamento principale è passata da frammentaria a pressoché totale, facendo emergere in un servizio legacy un fattore di latenza mai comparso in alcuna dashboard. Il backlog di remediation è ordinato per impatto sul business anziché in base a quale team si fosse offerto volontario.