Visão geral
A conta de observabilidade de uma plataforma de comércio crescia mais rápido que o tráfego, puxada principalmente por métricas customizadas que ninguém tinha revisado. A AceMQ ajudou a empresa a entender de onde vinha o volume e implantou controles que se mantêm à medida que novos serviços entram em produção.
Desafio
A cobrança de métricas customizadas é determinada pelas combinações distintas de tags, e várias equipes tinham adicionado identificadores de deploy, nomes de pods e identificadores de clientes como tags. Uma única métrica com a tag de nome do pod em um deployment com alta rotatividade gerava um número enorme de séries cobráveis que nenhum dashboard jamais consultava. A ingestão de logs tinha o mesmo problema em outro formato: logs em nível debug de um framework muito verboso respondiam por uma grande parte do volume indexado e nunca eram pesquisados.
Ambiente
Datadog em um ambiente AWS com várias contas, cargas de trabalho em Kubernetes, alta frequência de deploys e várias equipes de produto.
Abordagem
Não operamos a plataforma do fornecedor; ajudamos os clientes a controlar o que enviam para ela. O projeto quantificou o volume por origem, estabeleceu qual telemetria era realmente consultada e, em seguida, implementou controles nas camadas de emissão e de coleta, para que as reduções não se revertam silenciosamente no próximo deploy.
Solução
- Atribuição do volume de métricas customizadas a métricas e chaves de tag específicas, com ranking pela contribuição em séries cobráveis
- Cruzamento com o uso em consultas, para identificar como seguras para descarte as métricas e tags que ninguém nunca consultou
- Definição de governança de tags: identificadores com valores ilimitados pertencem a logs ou traces, nunca a tags de métricas
- Filtragem de métricas e tags aplicada na camada de coleta, para que a regra seja cumprida independentemente do que as aplicações emitem
- Separação da política de indexação de logs, para que logs de alto volume e baixo valor sejam retidos sem serem indexados para busca
- Revisão da estratégia de amostragem de traces, mantendo traces de erro e lentos com fidelidade total e amostrando as requisições bem-sucedidas de rotina
Resultado obtido
O volume cobrável de métricas customizadas caiu aproximadamente pela metade, sem perda de cobertura de dashboards ou alertas, e o volume de logs indexados caiu em proporção semelhante. Como a filtragem fica na camada de coleta, uma equipe que adiciona uma tag de alta cardinalidade não gera mais uma surpresa na fatura.