Panoramica
Un'azienda energetica registrava buchi intermittenti nei log di tutto il parco server, senza una causa evidente. Risalendo attraverso Logstash, i buchi portavano a un piccolo numero di pattern di filtro che consumavano gran parte della CPU disponibile.
Sfida
Diversi pattern grok erano stati scritti con wildcard iniziali e gruppi opzionali annidati, che causavano un catastrophic backtracking sulle righe di log non conformi al formato atteso. Una singola riga malformata poteva occupare un worker thread per moltissimo tempo. Con i worker impegnati, la persistent queue si riempiva, Logstash applicava back-pressure agli input Beats e gli agenti smettevano di inviare. Quando la coda finalmente si svuotava, gli agenti ripartivano dal proprio registry, ma i file ruotati nel frattempo erano ormai spariti.
Ambiente
Stack ELK on-premise con agenti Filebeat su un ampio parco server e un tier Logstash dedicato a parsing e arricchimento.
Approccio
Abbiamo profilato la pipeline dei filtri per capire dove si spendesse davvero il tempo, invece di ottimizzare a occhio. Una volta individuati i pattern patologici, li abbiamo riscritti con espressioni ancorate e con dissect dove il formato era fisso, quindi abbiamo reso la pipeline resiliente, in modo che una singola riga errata degradi un solo evento invece di bloccare l'intero parco.
Soluzione
- Profilazione della pipeline filtro per filtro per individuare i pattern che consumavano tempo CPU in modo sproporzionato
- Riscrittura dei pattern grok soggetti a catastrophic backtracking con ancoraggi, e uso di dissect dove il formato dei log è fisso
- Configurazione di timeout e tag-on-failure, così una riga non analizzabile viene etichettata e lasciata passare senza mai bloccare un worker
- Dimensionamento della persistent queue e del numero di worker calibrato sul throughput misurato, non sui valori predefiniti
- Adeguamento delle impostazioni del registry di Beats e della rotazione dei file, perché uno stallo da back-pressure non comporti la perdita dei file ruotati
- Aggiunta del monitoraggio della profondità della coda e della durata dei filtri, per rendere visibile la back-pressure in formazione prima che compaiano i buchi
Esito
Una volta rimossi i pattern patologici, i buchi nei log sono scomparsi del tutto e il throughput della pipeline è aumentato di diverse volte sullo stesso hardware. Gli alert sulla profondità della coda ora segnalano la pressione con largo anticipo rispetto al blocco degli agenti.