Voltar para todos os casos de uso

ConsultoriaServiços financeiros / trading

Um único lugar para olhar, com labels que permitem de fato navegar entre os sinais

Grupo de serviços financeiros

Projeto de consultoria para consolidar métricas, logs e traces fragmentados em uma única camada de observabilidade baseada no Grafana, com rotulagem consistente.

Visão geral

Um grupo de serviços financeiros tinha métricas em uma ferramenta, logs em outra e traces em uma terceira, sem identificadores compartilhados entre elas. A AceMQ desenhou a consolidação em um stack com o Grafana na frente, no qual um engenheiro consegue ir de um pico em uma métrica aos logs e traces relevantes sem ter de reconstruir o contexto.

Desafio

Os três tipos de sinal usavam nomes diferentes para as mesmas coisas: os nomes dos serviços variavam em maiúsculas e sufixos, os ambientes eram rotulados de forma inconsistente e não havia nenhum identificador de trace ou de requisição compartilhado nos logs. Correlacionar um alerta com seus logs significava uma pessoa traduzindo entre esquemas de nomes sob pressão de tempo. Além disso, agentes duplicados em todo o ambiente faziam com que o mesmo host fosse coletado várias vezes.

Ambiente

Ambiente híbrido com cargas de trabalho Kubernetes e máquinas virtuais legadas, além de vários ambientes regulados que exigem separação por residência de dados.

Abordagem

O trabalho de design começou por uma taxonomia de labels, e não pelas ferramentas, porque a correlação é um problema de nomenclatura antes de ser um problema de produto. Definimos um conjunto obrigatório de labels aplicado de forma uniforme a métricas, logs e traces, especificamos a propagação do contexto de trace para que as linhas de log carreguem o identificador do trace e, então, desenhamos a topologia de coleta que impõe isso na camada dos agentes.

Solução

  1. Definição de uma taxonomia obrigatória de labels para serviço, ambiente, região e equipe, aplicada de forma idêntica a métricas, logs e traces
  2. Design da propagação do contexto de trace para que as linhas de log carreguem os identificadores de trace e span, permitindo ir de métrica para log e para trace com um clique
  3. Racionalização da topologia de coleta para um único agente por host, eliminando coletas duplicadas e seu custo de armazenamento
  4. Aplicação das fronteiras de residência de dados na camada de coleta, para que as regiões reguladas nunca enviem telemetria para fora do país
  5. Definição de níveis de retenção por tipo de sinal, mantendo os dados de alta resolução por pouco tempo e os dados com downsampling por mais tempo
  6. Migração sequenciada serviço por serviço, com períodos de envio duplo para que nenhuma equipe perca visibilidade no meio da transição

Resultado obtido

Hoje os engenheiros vão de um alerta aos logs e ao trace correlacionados diretamente no Grafana, em vez de traduzir identificadores manualmente. A eliminação da coleta duplicada reduziu de forma perceptível o volume de telemetria, e a taxonomia compartilhada se manteve à medida que novos serviços são incorporados.

Tecnologias

GrafanaPrometheusLokiTempoKubernetes

Precisa de orientação de arquitetura para Grafana?

Os engenheiros Grafana sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.