Visão geral
Uma empresa de energia tinha lacunas intermitentes de logs em toda a sua frota, sem causa aparente. As lacunas levavam, através do Logstash, a um pequeno número de padrões de filtro que consumiam a maior parte da CPU disponível.
Desafio
Vários padrões grok tinham sido escritos com curingas no início e grupos opcionais aninhados, o que causava backtracking catastrófico em linhas de log que não tinham o formato esperado. Uma única linha malformada podia ocupar uma worker thread por muito tempo. Com os workers presos, a persistent queue enchia, o Logstash aplicava back-pressure aos inputs do Beats e os agentes paravam de enviar. Quando a fila finalmente esvaziava, os agentes retomavam a partir do seu registry, mas os arquivos que tinham sido rotacionados nesse meio-tempo já não existiam.
Ambiente
ELK Stack on-premises com agentes Filebeat em uma grande frota de servidores e uma camada de Logstash responsável pelo parsing e pelo enriquecimento.
Abordagem
Fizemos o profiling do pipeline de filtros para descobrir onde o tempo realmente era gasto, em vez de otimizar por inspeção. Depois de identificar os padrões patológicos, nós os reescrevemos com expressões ancoradas e com dissect onde o formato era fixo, e então tornamos o pipeline resiliente, para que uma única linha ruim degrade apenas um evento, em vez de travar a frota inteira.
Solução
- Profiling do pipeline por filtro para identificar os padrões específicos que consumiam tempo de CPU desproporcional
- Padrões grok com backtracking catastrófico reescritos com ancoragem, e dissect usado no lugar onde o formato do log é fixo
- Comportamento de timeout e de tag-on-failure configurado para que uma linha impossível de interpretar seja marcada e repassada, sem nunca bloquear um worker
- Dimensionamento da persistent queue e número de workers ajustados ao throughput medido, e não aos padrões
- Configurações de registry do Beats e de rotação de arquivos ajustadas para que uma parada por back-pressure não perca arquivos rotacionados
- Monitoramento da profundidade da fila e da duração dos filtros, para que um back-pressure em formação fique visível antes de surgirem lacunas
Resultado obtido
As lacunas de logs pararam por completo, e o throughput do pipeline aumentou várias vezes no mesmo hardware depois da remoção dos padrões patológicos. Os alertas de profundidade da fila agora mostram a pressão muito antes de os agentes travarem.