Voltar a todos os casos de utilização

ConsultoriaSaúde / Benefícios

Histórico de métricas de vários anos sem faturas de armazenamento em bloco de vários anos

Fornecedor de analytics para a saúde

Projeto de consultoria para desenhar a retenção plurianual de métricas Prometheus com downsampling e armazenamento de objetos, em substituição de discos locais sobredimensionados.

Visão geral

Um fornecedor de analytics para a saúde precisava de um histórico longo para planeamento de capacidade e de retenção plurianual para certas métricas operacionais, mas conseguia-o anexando volumes de bloco muito grandes ao Prometheus. A AceMQ desenhou, em alternativa, uma arquitetura assente em armazenamento de objetos com downsampling.

Desafio

A retenção local estava definida para bem mais de um ano, o que implicava volumes aprovisionados enormes por instância, compactação lenta e mudanças de instância penosas. As queries sobre intervalos longos expiravam porque percorriam amostras na resolução original ao longo de toda a janela. Também não havia uma verdadeira garantia de durabilidade — a retenção vivia em volumes anexados a instâncias únicas, pelo que perder uma instância significava perder um histórico que a empresa se tinha comprometido a manter.

Ambiente

Prometheus em Kubernetes em várias contas AWS, armazenamento de objetos disponível e obrigações regulamentares de retenção num subconjunto de métricas.

Abordagem

Separámos as duas tarefas que se pediam ao Prometheus: dados recentes de alta resolução para alertas e histórico de longo alcance para planeamento e auditoria. O Prometheus mantém uma janela local curta; os blocos são enviados para armazenamento de objetos, onde um compactor de downsampling produz resoluções mais grosseiras para queries de longo alcance. A obrigação de retenção passa então a ser imposta por políticas de ciclo de vida dos objetos, e não pela configuração das instâncias.

Solução

  1. Retenção local do Prometheus reduzida a uma janela pequena, dimensionada apenas para alertas e depuração imediata
  2. Envio de blocos para armazenamento de objetos, com um compactor a produzir resoluções com downsampling de cinco minutos e de uma hora
  3. Camada de queries configurada para escolher automaticamente a resolução adequada em função do intervalo pedido
  4. Obrigações de retenção impostas através de regras de ciclo de vida dos objetos por prefixo de bucket, auditáveis de forma independente do Prometheus
  5. Desduplicação configurada entre pares de Prometheus em alta disponibilidade, para que as queries de longo alcance devolvam uma única série coerente
  6. Modelo de custos que compara armazenamento em bloco aprovisionado com armazenamento de objetos e downsampling, com os volumes de dados reais do cliente

Resultado final

O armazenamento em bloco aprovisionado por instância caiu cerca de uma ordem de grandeza, e as queries de capacidade sobre um ano, que antes expiravam, devolvem agora resultados em segundos sobre dados com downsampling. A retenção é agora aplicável e auditável sem depender da sobrevivência de qualquer instância em particular.

Tecnologias

PrometheusThanosAmazon S3GrafanaKubernetes

Precisa de orientação de arquitetura Prometheus?

Os engenheiros seniores de Prometheus da AceMQ já trataram exatamente este tipo de projeto. Quer precise de orientação de arquitetura, de correção prática ou de uma parceria de gestão contínua, estamos prontos para ajudar.