Visão geral
Um operador de energia tinha lacunas intermitentes nos logs de todo o parque, sem causa evidente. As lacunas tinham origem, através do Logstash, num pequeno número de padrões de filtro que consumiam a maior parte da CPU disponível.
Desafio
Vários padrões grok tinham sido escritos com wildcards iniciais e grupos opcionais aninhados, o que provocava catastrophic backtracking em linhas de log que não tinham o formato esperado. Uma única linha mal formada podia ocupar uma worker thread durante muito tempo. Com os workers ocupados, a persistent queue enchia, o Logstash aplicava back-pressure às entradas Beats e os agentes deixavam de enviar. Quando a fila acabava por esvaziar, os agentes retomavam a partir do seu registry — mas os ficheiros que tinham sido rodados entretanto já tinham desaparecido.
Ambiente
ELK Stack on-premises com agentes Filebeat num grande parque de servidores e uma camada Logstash a fazer parsing e enriquecimento.
Abordagem
Fizemos o profiling do pipeline de filtros para perceber onde o tempo era realmente gasto, em vez de otimizar a olho. Depois de identificados os padrões patológicos, reescrevemo-los com expressões ancoradas e com dissect onde o formato era fixo, e tornámos o pipeline resiliente, para que uma única linha defeituosa degrade um evento em vez de parar todo o parque.
Solução
- Profiling do pipeline por filtro para identificar os padrões concretos que consumiam um tempo de CPU desproporcionado
- Padrões grok com catastrophic backtracking reescritos com âncoras, e dissect usado em substituição onde o formato dos logs é fixo
- Comportamento de timeout e de tag-on-failure configurado para que uma linha impossível de interpretar seja marcada e passe, sem nunca bloquear um worker
- Dimensionamento da persistent queue e número de workers afinados face ao débito medido, e não aos valores predefinidos
- Definições do registry do Beats e da rotação de ficheiros ajustadas para que uma paragem por back-pressure não perca ficheiros rodados
- Monitorização da profundidade da fila e da duração dos filtros, para que um back-pressure em formação fique visível antes de surgirem lacunas
Resultado final
As lacunas nos logs desapareceram por completo e o débito do pipeline multiplicou-se várias vezes no mesmo hardware depois de removidos os padrões patológicos. Os alertas de profundidade da fila mostram agora a pressão muito antes de os agentes pararem.