Visão geral
A ingestão do ELK de uma plataforma de comércio era frágil: qualquer lentidão do Elasticsearch se propagava de volta até as aplicações que produziam os logs. A AceMQ desenhou uma arquitetura com buffer que desacopla os produtores do cluster de busca.
Desafio
Os Beats enviavam os dados diretamente para uma camada de Logstash que escrevia de forma síncrona no Elasticsearch, então qualquer lentidão na indexação virava back-pressure até os produtores de logs. Durante a manutenção do cluster, as únicas opções eram aceitar perda de dados ou bloquear as aplicações. Além disso, cada equipe tinha sua própria nomenclatura de campos, então correlacionar uma requisição entre serviços exigia conhecer três nomes diferentes para o mesmo identificador, e a lógica de parsing para lidar com todos eles ficava em uma única configuração de Logstash cada vez mais difícil de manter.
Ambiente
ELK em Kubernetes ingerindo dados de dezenas de serviços, com crescimento tanto do volume de logs quanto do número de equipes contribuindo.
Abordagem
Introduzimos um buffer durável entre a produção e a indexação, para que as duas possam falhar de forma independente, movemos o parsing simples para os ingest pipelines do Elasticsearch, que é onde ele deve ficar, e padronizamos um schema comum para que a lógica de parsing por serviço praticamente desapareça. O design foi feito em etapas, para que as equipes migrem de forma incremental, e não em um único cutover.
Solução
- Introdução de uma fila de mensagens durável entre os shippers e a camada de indexação, para que a manutenção do cluster cause atraso, e não perda
- Transferência do parsing e do enriquecimento simples para os ingest pipelines do Elasticsearch, deixando o Logstash apenas onde suas capacidades são necessárias
- Adoção de um schema comum para os campos compartilhados, para que a correlação entre serviços deixe de exigir conhecimento dos campos de cada equipe
- Divisão das definições de pipeline por serviço em unidades com responsáveis definidos e implantáveis de forma independente, em vez de uma configuração monolítica
- Definição do tratamento de dead letters, para que eventos impossíveis de interpretar sejam capturados para revisão, em vez de descartados ou de bloquearem o fluxo
- Plano de migração em etapas que permite às equipes migrar serviço por serviço, com operação em caminho duplo durante a transição
Resultado obtido
A manutenção do Elasticsearch não afeta mais os produtores de logs: o buffer absorve a janela e esvazia depois. Adicionar um novo serviço ao pipeline deixou de ser uma mudança na configuração compartilhada e passou a ser uma implantação independente, com responsável definido.