Torna a tutti i casi d'uso

RemediationEnergia / Utility

Risalire la back-pressure dalle righe di log mancanti fino al pattern grok che la causava

Operatore di servizi energetici

Intervento correttivo su una pipeline ELK in cui la back-pressure di Logstash bloccava gli agenti Beats e lasciava buchi nei log di tutto il parco server.

Panoramica

Un'azienda energetica registrava buchi intermittenti nei log di tutto il parco server, senza una causa evidente. Risalendo attraverso Logstash, i buchi portavano a un piccolo numero di pattern di filtro che consumavano gran parte della CPU disponibile.

Sfida

Diversi pattern grok erano stati scritti con wildcard iniziali e gruppi opzionali annidati, che causavano un catastrophic backtracking sulle righe di log non conformi al formato atteso. Una singola riga malformata poteva occupare un worker thread per moltissimo tempo. Con i worker impegnati, la persistent queue si riempiva, Logstash applicava back-pressure agli input Beats e gli agenti smettevano di inviare. Quando la coda finalmente si svuotava, gli agenti ripartivano dal proprio registry, ma i file ruotati nel frattempo erano ormai spariti.

Ambiente

Stack ELK on-premise con agenti Filebeat su un ampio parco server e un tier Logstash dedicato a parsing e arricchimento.

Approccio

Abbiamo profilato la pipeline dei filtri per capire dove si spendesse davvero il tempo, invece di ottimizzare a occhio. Una volta individuati i pattern patologici, li abbiamo riscritti con espressioni ancorate e con dissect dove il formato era fisso, quindi abbiamo reso la pipeline resiliente, in modo che una singola riga errata degradi un solo evento invece di bloccare l'intero parco.

Soluzione

  1. Profilazione della pipeline filtro per filtro per individuare i pattern che consumavano tempo CPU in modo sproporzionato
  2. Riscrittura dei pattern grok soggetti a catastrophic backtracking con ancoraggi, e uso di dissect dove il formato dei log è fisso
  3. Configurazione di timeout e tag-on-failure, così una riga non analizzabile viene etichettata e lasciata passare senza mai bloccare un worker
  4. Dimensionamento della persistent queue e del numero di worker calibrato sul throughput misurato, non sui valori predefiniti
  5. Adeguamento delle impostazioni del registry di Beats e della rotazione dei file, perché uno stallo da back-pressure non comporti la perdita dei file ruotati
  6. Aggiunta del monitoraggio della profondità della coda e della durata dei filtri, per rendere visibile la back-pressure in formazione prima che compaiano i buchi

Esito

Una volta rimossi i pattern patologici, i buchi nei log sono scomparsi del tutto e il throughput della pipeline è aumentato di diverse volte sullo stesso hardware. Gli alert sulla profondità della coda ora segnalano la pressione con largo anticipo rispetto al blocco degli agenti.

Tecnologie

ELK StackLogstashElasticsearchFilebeat

Avete un problema di produzione su ELK Stack?

Gli ingegneri ELK Stack senior di AceMQ hanno già gestito proprio questo tipo di progetto. Che vi servano indicazioni architetturali, remediation operativa o una partnership gestita continuativa, siamo pronti ad aiutarvi.