Visão geral
Um grupo de serviços financeiros tinha métricas em uma ferramenta, logs em outra e traces em uma terceira, sem identificadores compartilhados entre elas. A AceMQ desenhou a consolidação em um stack com o Grafana na frente, no qual um engenheiro consegue ir de um pico em uma métrica aos logs e traces relevantes sem ter de reconstruir o contexto.
Desafio
Os três tipos de sinal usavam nomes diferentes para as mesmas coisas: os nomes dos serviços variavam em maiúsculas e sufixos, os ambientes eram rotulados de forma inconsistente e não havia nenhum identificador de trace ou de requisição compartilhado nos logs. Correlacionar um alerta com seus logs significava uma pessoa traduzindo entre esquemas de nomes sob pressão de tempo. Além disso, agentes duplicados em todo o ambiente faziam com que o mesmo host fosse coletado várias vezes.
Ambiente
Ambiente híbrido com cargas de trabalho Kubernetes e máquinas virtuais legadas, além de vários ambientes regulados que exigem separação por residência de dados.
Abordagem
O trabalho de design começou por uma taxonomia de labels, e não pelas ferramentas, porque a correlação é um problema de nomenclatura antes de ser um problema de produto. Definimos um conjunto obrigatório de labels aplicado de forma uniforme a métricas, logs e traces, especificamos a propagação do contexto de trace para que as linhas de log carreguem o identificador do trace e, então, desenhamos a topologia de coleta que impõe isso na camada dos agentes.
Solução
- Definição de uma taxonomia obrigatória de labels para serviço, ambiente, região e equipe, aplicada de forma idêntica a métricas, logs e traces
- Design da propagação do contexto de trace para que as linhas de log carreguem os identificadores de trace e span, permitindo ir de métrica para log e para trace com um clique
- Racionalização da topologia de coleta para um único agente por host, eliminando coletas duplicadas e seu custo de armazenamento
- Aplicação das fronteiras de residência de dados na camada de coleta, para que as regiões reguladas nunca enviem telemetria para fora do país
- Definição de níveis de retenção por tipo de sinal, mantendo os dados de alta resolução por pouco tempo e os dados com downsampling por mais tempo
- Migração sequenciada serviço por serviço, com períodos de envio duplo para que nenhuma equipe perca visibilidade no meio da transição
Resultado obtido
Hoje os engenheiros vão de um alerta aos logs e ao trace correlacionados diretamente no Grafana, em vez de traduzir identificadores manualmente. A eliminação da coleta duplicada reduziu de forma perceptível o volume de telemetria, e a taxonomia compartilhada se manteve à medida que novos serviços são incorporados.