Voltar para todos os casos de uso

CorreçãoEnergia / serviços públicos

Rastreando o back-pressure desde as linhas de log ausentes até o padrão grok que o causava

Operadora de serviços de energia

Correção de um pipeline ELK em que o back-pressure do Logstash travava os agentes Beats e deixava lacunas de logs em toda a frota.

Visão geral

Uma empresa de energia tinha lacunas intermitentes de logs em toda a sua frota, sem causa aparente. As lacunas levavam, através do Logstash, a um pequeno número de padrões de filtro que consumiam a maior parte da CPU disponível.

Desafio

Vários padrões grok tinham sido escritos com curingas no início e grupos opcionais aninhados, o que causava backtracking catastrófico em linhas de log que não tinham o formato esperado. Uma única linha malformada podia ocupar uma worker thread por muito tempo. Com os workers presos, a persistent queue enchia, o Logstash aplicava back-pressure aos inputs do Beats e os agentes paravam de enviar. Quando a fila finalmente esvaziava, os agentes retomavam a partir do seu registry, mas os arquivos que tinham sido rotacionados nesse meio-tempo já não existiam.

Ambiente

ELK Stack on-premises com agentes Filebeat em uma grande frota de servidores e uma camada de Logstash responsável pelo parsing e pelo enriquecimento.

Abordagem

Fizemos o profiling do pipeline de filtros para descobrir onde o tempo realmente era gasto, em vez de otimizar por inspeção. Depois de identificar os padrões patológicos, nós os reescrevemos com expressões ancoradas e com dissect onde o formato era fixo, e então tornamos o pipeline resiliente, para que uma única linha ruim degrade apenas um evento, em vez de travar a frota inteira.

Solução

  1. Profiling do pipeline por filtro para identificar os padrões específicos que consumiam tempo de CPU desproporcional
  2. Padrões grok com backtracking catastrófico reescritos com ancoragem, e dissect usado no lugar onde o formato do log é fixo
  3. Comportamento de timeout e de tag-on-failure configurado para que uma linha impossível de interpretar seja marcada e repassada, sem nunca bloquear um worker
  4. Dimensionamento da persistent queue e número de workers ajustados ao throughput medido, e não aos padrões
  5. Configurações de registry do Beats e de rotação de arquivos ajustadas para que uma parada por back-pressure não perca arquivos rotacionados
  6. Monitoramento da profundidade da fila e da duração dos filtros, para que um back-pressure em formação fique visível antes de surgirem lacunas

Resultado obtido

As lacunas de logs pararam por completo, e o throughput do pipeline aumentou várias vezes no mesmo hardware depois da remoção dos padrões patológicos. Os alertas de profundidade da fila agora mostram a pressão muito antes de os agentes travarem.

Tecnologias

ELK StackLogstashElasticsearchFilebeat

Enfrentando um problema de produção com ELK Stack?

Os engenheiros ELK Stack sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.