Visão geral
Um provedor de analytics para a área da saúde precisava de um histórico longo para planejamento de capacidade e de retenção de vários anos para certas métricas operacionais, mas conseguia isso anexando volumes de block storage enormes ao Prometheus. A AceMQ desenhou, em vez disso, uma arquitetura apoiada em object storage e com downsampling.
Desafio
A retenção local estava configurada para bem mais de um ano, o que significava volumes provisionados enormes por instância, compaction lenta e mudanças de instância penosas. Consultas em intervalos longos davam timeout porque varriam amostras em resolução bruta ao longo de toda a janela. Também não havia uma estratégia real de durabilidade: a retenção ficava em volumes anexados a instâncias únicas, então perder uma instância significava perder um histórico que a empresa tinha se comprometido a manter.
Ambiente
Prometheus no Kubernetes em várias contas AWS, com object storage disponível e obrigações regulatórias de retenção para um subconjunto das métricas.
Abordagem
Separamos as duas funções que o Prometheus estava acumulando: dados recentes em alta resolução para alertas e histórico de longo prazo para planejamento e auditoria. O Prometheus mantém uma janela local curta; os blocos são enviados para o object storage, onde um compactor de downsampling gera resoluções menores para consultas de longo prazo. A obrigação de retenção passa então a ser garantida pela política de ciclo de vida dos objetos, e não pela configuração das instâncias.
Solução
- Retenção local do Prometheus reduzida a uma janela pequena, dimensionada apenas para alertas e depuração imediata
- Envio de blocos para o object storage, com um compactor gerando resoluções com downsampling de cinco minutos e de uma hora
- Camada de consulta configurada para escolher automaticamente a resolução adequada de acordo com o intervalo solicitado
- Obrigações de retenção garantidas por regras de ciclo de vida de objetos por prefixo de bucket, auditáveis de forma independente do Prometheus
- Deduplicação configurada entre pares de Prometheus em alta disponibilidade, para que as consultas de longo prazo retornem uma única série coerente
- Modelo de custos comparando block storage provisionado com object storage mais downsampling, com base nos volumes reais de dados do cliente
Resultado obtido
O block storage provisionado por instância caiu cerca de uma ordem de grandeza, e consultas de capacidade de um ano inteiro, que antes davam timeout, agora retornam em segundos sobre dados com downsampling. A retenção agora pode ser garantida e auditada sem depender da sobrevivência de nenhuma instância individual.