Visão geral
Um fabricante que rodava Prometheus em cada fábrica, além de uma camada de federação global, percebeu que os dashboards globais discordavam dos locais. A AceMQ avaliou a topologia para determinar se a federação era o padrão certo para a escala da empresa.
Desafio
A federação hierárquica estava sendo usada para puxar séries brutas em vez de agregados, então a instância global fazia scrape de um payload enorme de cada unidade a cada intervalo. Os scrapes regularmente estouravam o timeout e retornavam dados parciais, e é por isso que as visões global e local discordavam. Unidades com links WAN intermitentes geravam lacunas que pareciam paradas da fábrica. Ninguém sabia em quais números confiar durante um incidente real de produção.
Ambiente
Prometheus em várias unidades fabris com conectividade WAN intermitente até um ambiente central de observabilidade.
Abordagem
A avaliação mediu o que a federação de fato transferia em relação ao orçamento de timeout do scrape, o que deixou o problema dos scrapes parciais evidente. Em seguida, avaliamos se os requisitos do cliente seriam mais bem atendidos por remote write com um armazenamento central do que por federação, e modelamos as implicações de banda e de armazenamento de cada opção com base no número real de séries.
Solução
- Medição do tamanho e da duração do payload de federação de cada unidade e comparação com o timeout de scrape configurado
- Correlação dos incidentes de scrape parcial e de lacunas com eventos dos links WAN, para separar problemas de rede de problemas de configuração
- Design de recording rules em cada unidade para que só os agregados saiam da fábrica, reduzindo o payload de federação em ordens de grandeza
- Avaliação de remote write com um armazenamento central de longo prazo como alternativa, com banda e armazenamento modelados sobre o número real de séries
- Especificação do comportamento de buffer e de retry para que uma queda da WAN gere dados preenchidos retroativamente, e não um buraco permanente
- Definição da retenção por unidade para que os engenheiros locais mantenham a resolução total mesmo quando apenas os agregados vão para o ambiente central
Resultado obtido
O cliente adotou recording rules em nível de unidade com remote write, o que eliminou completamente as lacunas causadas por scrapes parciais. Os dashboards globais e os das unidades agora concordam, e as quedas da WAN são preenchidas retroativamente, em vez de deixar buracos permanentes no histórico.