Panoramica
L'ingest ELK di una piattaforma di e-commerce era fragile: qualsiasi rallentamento di Elasticsearch si ripercuoteva sulle applicazioni che producevano i log. AceMQ ha progettato un'architettura con buffer che disaccoppia i producer dal cluster di ricerca.
Sfida
I Beats inviavano i dati direttamente a un livello Logstash che scriveva in modo sincrono su Elasticsearch, per cui qualsiasi rallentamento dell'indicizzazione si trasformava in back-pressure fino ai producer dei log. Durante la manutenzione del cluster le uniche opzioni erano accettare la perdita di dati o bloccare le applicazioni. In più, ogni team aveva la propria nomenclatura dei campi: correlare una richiesta tra servizi significava conoscere tre nomi diversi per lo stesso identificativo, e la logica di parsing per gestirli tutti risiedeva in un'unica configurazione Logstash sempre più difficile da mantenere.
Ambiente
ELK su Kubernetes con ingest da decine di servizi, in crescita sia per volume di log sia per numero di team coinvolti.
Approccio
Abbiamo introdotto un buffer durevole tra produzione e indicizzazione, così che le due possano guastarsi in modo indipendente, spostato il parsing semplice nelle ingest pipeline di Elasticsearch, dove deve stare, e adottato uno schema comune, così che la logica di parsing per singolo servizio sparisca quasi del tutto. Il design è stato articolato per fasi, in modo che i team migrino in modo incrementale anziché con un unico cutover.
Soluzione
- Coda di messaggi durevole introdotta tra shipper e livello di indicizzazione, così che la manutenzione del cluster provochi ritardi e non perdite
- Parsing semplice e arricchimento spostati nelle ingest pipeline di Elasticsearch, lasciando Logstash solo dove servono le sue capacità
- Schema comune adottato per i campi condivisi, così che la correlazione tra servizi non richieda più di conoscere i campi di ciascun team
- Definizioni delle pipeline per servizio suddivise in unità con un owner e rilasciabili in modo indipendente, invece di un'unica configurazione monolitica
- Gestione dei dead letter definita, così che gli eventi non interpretabili vengano catturati per la revisione anziché scartati o bloccanti
- Piano di migrazione per fasi che consente ai team di spostarsi servizio per servizio, con doppio percorso attivo durante la transizione
Esito
La manutenzione di Elasticsearch non ha più impatto sui producer dei log: il buffer assorbe la finestra e si svuota subito dopo. Aggiungere un nuovo servizio alla pipeline non richiede più una modifica alla configurazione condivisa, ma è un deployment indipendente con un owner preciso.