Voltar para todos os casos de uso

ConsultoriaSaúde / benefícios

Anos de histórico de métricas sem anos de faturas de block storage

Provedor de analytics para a área da saúde

Projeto de consultoria para desenhar a retenção de métricas do Prometheus por vários anos, com downsampling e object storage, substituindo discos locais superdimensionados.

Visão geral

Um provedor de analytics para a área da saúde precisava de um histórico longo para planejamento de capacidade e de retenção de vários anos para certas métricas operacionais, mas conseguia isso anexando volumes de block storage enormes ao Prometheus. A AceMQ desenhou, em vez disso, uma arquitetura apoiada em object storage e com downsampling.

Desafio

A retenção local estava configurada para bem mais de um ano, o que significava volumes provisionados enormes por instância, compaction lenta e mudanças de instância penosas. Consultas em intervalos longos davam timeout porque varriam amostras em resolução bruta ao longo de toda a janela. Também não havia uma estratégia real de durabilidade: a retenção ficava em volumes anexados a instâncias únicas, então perder uma instância significava perder um histórico que a empresa tinha se comprometido a manter.

Ambiente

Prometheus no Kubernetes em várias contas AWS, com object storage disponível e obrigações regulatórias de retenção para um subconjunto das métricas.

Abordagem

Separamos as duas funções que o Prometheus estava acumulando: dados recentes em alta resolução para alertas e histórico de longo prazo para planejamento e auditoria. O Prometheus mantém uma janela local curta; os blocos são enviados para o object storage, onde um compactor de downsampling gera resoluções menores para consultas de longo prazo. A obrigação de retenção passa então a ser garantida pela política de ciclo de vida dos objetos, e não pela configuração das instâncias.

Solução

  1. Retenção local do Prometheus reduzida a uma janela pequena, dimensionada apenas para alertas e depuração imediata
  2. Envio de blocos para o object storage, com um compactor gerando resoluções com downsampling de cinco minutos e de uma hora
  3. Camada de consulta configurada para escolher automaticamente a resolução adequada de acordo com o intervalo solicitado
  4. Obrigações de retenção garantidas por regras de ciclo de vida de objetos por prefixo de bucket, auditáveis de forma independente do Prometheus
  5. Deduplicação configurada entre pares de Prometheus em alta disponibilidade, para que as consultas de longo prazo retornem uma única série coerente
  6. Modelo de custos comparando block storage provisionado com object storage mais downsampling, com base nos volumes reais de dados do cliente

Resultado obtido

O block storage provisionado por instância caiu cerca de uma ordem de grandeza, e consultas de capacidade de um ano inteiro, que antes davam timeout, agora retornam em segundos sobre dados com downsampling. A retenção agora pode ser garantida e auditada sem depender da sobrevivência de nenhuma instância individual.

Tecnologias

PrometheusThanosAmazon S3GrafanaKubernetes

Precisa de orientação de arquitetura para Prometheus?

Os engenheiros Prometheus sêniores da AceMQ já conduziram exatamente este tipo de projeto. Seja para orientação de arquitetura, correção mão na massa ou uma parceria gerenciada contínua, estamos prontos para ajudar.