Voltar para todos os casos de uso

ConsultoriaSoftware / plataformas digitais

Governança de cardinalidade de métricas customizadas que sobrevive ao próximo deploy

Plataforma de comércio digital

Projeto de consultoria para governar a cardinalidade de métricas customizadas, a ingestão de logs e o volume de traces, para que o gasto com observabilidade acompanhe o valor entregue, e não o acaso.

Visão geral

A conta de observabilidade de uma plataforma de comércio crescia mais rápido que o tráfego, puxada principalmente por métricas customizadas que ninguém tinha revisado. A AceMQ ajudou a empresa a entender de onde vinha o volume e implantou controles que se mantêm à medida que novos serviços entram em produção.

Desafio

A cobrança de métricas customizadas é determinada pelas combinações distintas de tags, e várias equipes tinham adicionado identificadores de deploy, nomes de pods e identificadores de clientes como tags. Uma única métrica com a tag de nome do pod em um deployment com alta rotatividade gerava um número enorme de séries cobráveis que nenhum dashboard jamais consultava. A ingestão de logs tinha o mesmo problema em outro formato: logs em nível debug de um framework muito verboso respondiam por uma grande parte do volume indexado e nunca eram pesquisados.

Ambiente

Datadog em um ambiente AWS com várias contas, cargas de trabalho em Kubernetes, alta frequência de deploys e várias equipes de produto.

Abordagem

Não operamos a plataforma do fornecedor; ajudamos os clientes a controlar o que enviam para ela. O projeto quantificou o volume por origem, estabeleceu qual telemetria era realmente consultada e, em seguida, implementou controles nas camadas de emissão e de coleta, para que as reduções não se revertam silenciosamente no próximo deploy.

Solução

  1. Atribuição do volume de métricas customizadas a métricas e chaves de tag específicas, com ranking pela contribuição em séries cobráveis
  2. Cruzamento com o uso em consultas, para identificar como seguras para descarte as métricas e tags que ninguém nunca consultou
  3. Definição de governança de tags: identificadores com valores ilimitados pertencem a logs ou traces, nunca a tags de métricas
  4. Filtragem de métricas e tags aplicada na camada de coleta, para que a regra seja cumprida independentemente do que as aplicações emitem
  5. Separação da política de indexação de logs, para que logs de alto volume e baixo valor sejam retidos sem serem indexados para busca
  6. Revisão da estratégia de amostragem de traces, mantendo traces de erro e lentos com fidelidade total e amostrando as requisições bem-sucedidas de rotina

Resultado obtido

O volume cobrável de métricas customizadas caiu aproximadamente pela metade, sem perda de cobertura de dashboards ou alertas, e o volume de logs indexados caiu em proporção semelhante. Como a filtragem fica na camada de coleta, uma equipe que adiciona uma tag de alta cardinalidade não gera mais uma surpresa na fatura.

Tecnologias

DatadogKubernetesTerraformOpenTelemetry

Precisa de orientação de arquitetura para Datadog?

Os engenheiros Datadog sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.