Torna a tutti i casi d'uso

ConsulenzaSoftware / Piattaforme digitali

Un'architettura di ingest in cui un blocco a valle è un ritardo, non una perdita di dati

Piattaforma di commercio digitale

Consulenza per riprogettare un'architettura di ingest ELK attorno a code con buffer, pipeline sugli ingest node e standardizzazione dello schema.

Panoramica

L'ingest ELK di una piattaforma di e-commerce era fragile: qualsiasi rallentamento di Elasticsearch si ripercuoteva sulle applicazioni che producevano i log. AceMQ ha progettato un'architettura con buffer che disaccoppia i producer dal cluster di ricerca.

Sfida

I Beats inviavano i dati direttamente a un livello Logstash che scriveva in modo sincrono su Elasticsearch, per cui qualsiasi rallentamento dell'indicizzazione si trasformava in back-pressure fino ai producer dei log. Durante la manutenzione del cluster le uniche opzioni erano accettare la perdita di dati o bloccare le applicazioni. In più, ogni team aveva la propria nomenclatura dei campi: correlare una richiesta tra servizi significava conoscere tre nomi diversi per lo stesso identificativo, e la logica di parsing per gestirli tutti risiedeva in un'unica configurazione Logstash sempre più difficile da mantenere.

Ambiente

ELK su Kubernetes con ingest da decine di servizi, in crescita sia per volume di log sia per numero di team coinvolti.

Approccio

Abbiamo introdotto un buffer durevole tra produzione e indicizzazione, così che le due possano guastarsi in modo indipendente, spostato il parsing semplice nelle ingest pipeline di Elasticsearch, dove deve stare, e adottato uno schema comune, così che la logica di parsing per singolo servizio sparisca quasi del tutto. Il design è stato articolato per fasi, in modo che i team migrino in modo incrementale anziché con un unico cutover.

Soluzione

  1. Coda di messaggi durevole introdotta tra shipper e livello di indicizzazione, così che la manutenzione del cluster provochi ritardi e non perdite
  2. Parsing semplice e arricchimento spostati nelle ingest pipeline di Elasticsearch, lasciando Logstash solo dove servono le sue capacità
  3. Schema comune adottato per i campi condivisi, così che la correlazione tra servizi non richieda più di conoscere i campi di ciascun team
  4. Definizioni delle pipeline per servizio suddivise in unità con un owner e rilasciabili in modo indipendente, invece di un'unica configurazione monolitica
  5. Gestione dei dead letter definita, così che gli eventi non interpretabili vengano catturati per la revisione anziché scartati o bloccanti
  6. Piano di migrazione per fasi che consente ai team di spostarsi servizio per servizio, con doppio percorso attivo durante la transizione

Esito

La manutenzione di Elasticsearch non ha più impatto sui producer dei log: il buffer assorbe la finestra e si svuota subito dopo. Aggiungere un nuovo servizio alla pipeline non richiede più una modifica alla configurazione condivisa, ma è un deployment indipendente con un owner preciso.

Tecnologie

ELK StackLogstashKafkaElasticsearchKubernetes

Vi servono indicazioni sull'architettura ELK Stack?

Gli ingegneri ELK Stack senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.