Voltar para todos os casos de uso

ConsultoriaSoftware / plataformas digitais

Uma arquitetura de ingestão em que uma parada downstream é um atraso, e não uma perda de dados

Plataforma de comércio digital

Projeto de consultoria para redesenhar uma arquitetura de ingestão do ELK com base em filas com buffer, pipelines em ingest nodes e padronização de schema.

Visão geral

A ingestão do ELK de uma plataforma de comércio era frágil: qualquer lentidão do Elasticsearch se propagava de volta até as aplicações que produziam os logs. A AceMQ desenhou uma arquitetura com buffer que desacopla os produtores do cluster de busca.

Desafio

Os Beats enviavam os dados diretamente para uma camada de Logstash que escrevia de forma síncrona no Elasticsearch, então qualquer lentidão na indexação virava back-pressure até os produtores de logs. Durante a manutenção do cluster, as únicas opções eram aceitar perda de dados ou bloquear as aplicações. Além disso, cada equipe tinha sua própria nomenclatura de campos, então correlacionar uma requisição entre serviços exigia conhecer três nomes diferentes para o mesmo identificador, e a lógica de parsing para lidar com todos eles ficava em uma única configuração de Logstash cada vez mais difícil de manter.

Ambiente

ELK em Kubernetes ingerindo dados de dezenas de serviços, com crescimento tanto do volume de logs quanto do número de equipes contribuindo.

Abordagem

Introduzimos um buffer durável entre a produção e a indexação, para que as duas possam falhar de forma independente, movemos o parsing simples para os ingest pipelines do Elasticsearch, que é onde ele deve ficar, e padronizamos um schema comum para que a lógica de parsing por serviço praticamente desapareça. O design foi feito em etapas, para que as equipes migrem de forma incremental, e não em um único cutover.

Solução

  1. Introdução de uma fila de mensagens durável entre os shippers e a camada de indexação, para que a manutenção do cluster cause atraso, e não perda
  2. Transferência do parsing e do enriquecimento simples para os ingest pipelines do Elasticsearch, deixando o Logstash apenas onde suas capacidades são necessárias
  3. Adoção de um schema comum para os campos compartilhados, para que a correlação entre serviços deixe de exigir conhecimento dos campos de cada equipe
  4. Divisão das definições de pipeline por serviço em unidades com responsáveis definidos e implantáveis de forma independente, em vez de uma configuração monolítica
  5. Definição do tratamento de dead letters, para que eventos impossíveis de interpretar sejam capturados para revisão, em vez de descartados ou de bloquearem o fluxo
  6. Plano de migração em etapas que permite às equipes migrar serviço por serviço, com operação em caminho duplo durante a transição

Resultado obtido

A manutenção do Elasticsearch não afeta mais os produtores de logs: o buffer absorve a janela e esvazia depois. Adicionar um novo serviço ao pipeline deixou de ser uma mudança na configuração compartilhada e passou a ser uma implantação independente, com responsável definido.

Tecnologias

ELK StackLogstashKafkaElasticsearchKubernetes

Precisa de orientação de arquitetura para ELK Stack?

Os engenheiros ELK Stack sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.