Visão geral
Um fornecedor de analytics para a saúde precisava de um histórico longo para planeamento de capacidade e de retenção plurianual para certas métricas operacionais, mas conseguia-o anexando volumes de bloco muito grandes ao Prometheus. A AceMQ desenhou, em alternativa, uma arquitetura assente em armazenamento de objetos com downsampling.
Desafio
A retenção local estava definida para bem mais de um ano, o que implicava volumes aprovisionados enormes por instância, compactação lenta e mudanças de instância penosas. As queries sobre intervalos longos expiravam porque percorriam amostras na resolução original ao longo de toda a janela. Também não havia uma verdadeira garantia de durabilidade — a retenção vivia em volumes anexados a instâncias únicas, pelo que perder uma instância significava perder um histórico que a empresa se tinha comprometido a manter.
Ambiente
Prometheus em Kubernetes em várias contas AWS, armazenamento de objetos disponível e obrigações regulamentares de retenção num subconjunto de métricas.
Abordagem
Separámos as duas tarefas que se pediam ao Prometheus: dados recentes de alta resolução para alertas e histórico de longo alcance para planeamento e auditoria. O Prometheus mantém uma janela local curta; os blocos são enviados para armazenamento de objetos, onde um compactor de downsampling produz resoluções mais grosseiras para queries de longo alcance. A obrigação de retenção passa então a ser imposta por políticas de ciclo de vida dos objetos, e não pela configuração das instâncias.
Solução
- Retenção local do Prometheus reduzida a uma janela pequena, dimensionada apenas para alertas e depuração imediata
- Envio de blocos para armazenamento de objetos, com um compactor a produzir resoluções com downsampling de cinco minutos e de uma hora
- Camada de queries configurada para escolher automaticamente a resolução adequada em função do intervalo pedido
- Obrigações de retenção impostas através de regras de ciclo de vida dos objetos por prefixo de bucket, auditáveis de forma independente do Prometheus
- Desduplicação configurada entre pares de Prometheus em alta disponibilidade, para que as queries de longo alcance devolvam uma única série coerente
- Modelo de custos que compara armazenamento em bloco aprovisionado com armazenamento de objetos e downsampling, com os volumes de dados reais do cliente
Resultado final
O armazenamento em bloco aprovisionado por instância caiu cerca de uma ordem de grandeza, e as queries de capacidade sobre um ano, que antes expiravam, devolvem agora resultados em segundos sobre dados com downsampling. A retenção é agora aplicável e auditável sem depender da sobrevivência de qualquer instância em particular.