Voltar a todos os casos de utilização

CorreçãoEnergia / Utilities

Seguir o back-pressure desde as linhas de log em falta até ao padrão grok que o provoca

Operador de serviços de energia

Correção de um pipeline ELK em que o back-pressure do Logstash parava os agentes Beats e deixava lacunas nos logs de todo o parque de servidores.

Visão geral

Um operador de energia tinha lacunas intermitentes nos logs de todo o parque, sem causa evidente. As lacunas tinham origem, através do Logstash, num pequeno número de padrões de filtro que consumiam a maior parte da CPU disponível.

Desafio

Vários padrões grok tinham sido escritos com wildcards iniciais e grupos opcionais aninhados, o que provocava catastrophic backtracking em linhas de log que não tinham o formato esperado. Uma única linha mal formada podia ocupar uma worker thread durante muito tempo. Com os workers ocupados, a persistent queue enchia, o Logstash aplicava back-pressure às entradas Beats e os agentes deixavam de enviar. Quando a fila acabava por esvaziar, os agentes retomavam a partir do seu registry — mas os ficheiros que tinham sido rodados entretanto já tinham desaparecido.

Ambiente

ELK Stack on-premises com agentes Filebeat num grande parque de servidores e uma camada Logstash a fazer parsing e enriquecimento.

Abordagem

Fizemos o profiling do pipeline de filtros para perceber onde o tempo era realmente gasto, em vez de otimizar a olho. Depois de identificados os padrões patológicos, reescrevemo-los com expressões ancoradas e com dissect onde o formato era fixo, e tornámos o pipeline resiliente, para que uma única linha defeituosa degrade um evento em vez de parar todo o parque.

Solução

  1. Profiling do pipeline por filtro para identificar os padrões concretos que consumiam um tempo de CPU desproporcionado
  2. Padrões grok com catastrophic backtracking reescritos com âncoras, e dissect usado em substituição onde o formato dos logs é fixo
  3. Comportamento de timeout e de tag-on-failure configurado para que uma linha impossível de interpretar seja marcada e passe, sem nunca bloquear um worker
  4. Dimensionamento da persistent queue e número de workers afinados face ao débito medido, e não aos valores predefinidos
  5. Definições do registry do Beats e da rotação de ficheiros ajustadas para que uma paragem por back-pressure não perca ficheiros rodados
  6. Monitorização da profundidade da fila e da duração dos filtros, para que um back-pressure em formação fique visível antes de surgirem lacunas

Resultado final

As lacunas nos logs desapareceram por completo e o débito do pipeline multiplicou-se várias vezes no mesmo hardware depois de removidos os padrões patológicos. Os alertas de profundidade da fila mostram agora a pressão muito antes de os agentes pararem.

Tecnologias

ELK StackLogstashElasticsearchFilebeat

Tem um problema de produção com ELK Stack?

Os engenheiros seniores de ELK Stack da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.