Volver a todos los casos de uso

ConsultoríaSalud / Beneficios

Años de historial de métricas sin años de facturas de almacenamiento en bloque

Proveedor de analítica de salud

Proyecto de consultoría para diseñar la retención de métricas de Prometheus durante varios años con downsampling y almacenamiento de objetos, en reemplazo de discos locales sobredimensionados.

Descripción general

Un proveedor de analítica de salud necesitaba un historial largo para la planificación de capacidad y retención de varios años para ciertas métricas operativas, pero lo lograba conectando volúmenes de bloque muy grandes a Prometheus. AceMQ diseñó en su lugar una arquitectura respaldada por almacenamiento de objetos y con downsampling.

Desafío

La retención local estaba configurada en bastante más de un año, lo que implicaba volúmenes aprovisionados enormes por instancia, compactación lenta y migraciones de instancias muy engorrosas. Las consultas sobre rangos largos excedían el tiempo de espera porque recorrían muestras con resolución original en toda la ventana. Tampoco había una garantía real de durabilidad: la retención vivía en volúmenes conectados a instancias individuales, así que perder una instancia significaba perder un historial que el negocio se había comprometido a conservar.

Entorno

Prometheus en Kubernetes en varias cuentas de AWS, con almacenamiento de objetos disponible y obligaciones regulatorias de retención sobre un subconjunto de métricas.

Enfoque

Separamos los dos trabajos que se le pedían a Prometheus: datos recientes de alta resolución para las alertas, e historial de largo plazo para planificación y auditoría. Prometheus conserva una ventana local corta; los bloques se envían al almacenamiento de objetos, donde un compactador con downsampling genera resoluciones más gruesas para las consultas de rango largo. La obligación de retención se aplica entonces mediante políticas de ciclo de vida de objetos y no mediante la configuración de las instancias.

Solución

  1. Retención local de Prometheus reducida a una ventana pequeña, dimensionada solo para alertas y depuración inmediata
  2. Envío de bloques al almacenamiento de objetos con un compactador que genera resoluciones con downsampling de cinco minutos y de una hora
  3. Capa de consultas configurada para elegir automáticamente la resolución adecuada según el rango solicitado
  4. Obligaciones de retención aplicadas mediante reglas de ciclo de vida de objetos por prefijo de bucket, auditables con independencia de Prometheus
  5. Deduplicación configurada entre pares de Prometheus en alta disponibilidad para que las consultas de rango largo devuelvan una única serie coherente
  6. Modelo de costos que compara el almacenamiento en bloque aprovisionado con el almacenamiento de objetos más downsampling, con los volúmenes de datos reales del cliente

Resultado final

El almacenamiento en bloque aprovisionado por instancia se redujo aproximadamente en un orden de magnitud, y las consultas de capacidad de un año, que antes excedían el tiempo de espera, ahora responden en segundos sobre datos con downsampling. La retención ahora se puede hacer cumplir y auditar sin depender de que sobreviva una instancia en particular.

Tecnologías

PrometheusThanosAmazon S3GrafanaKubernetes

¿Necesita orientación de arquitectura para Prometheus?

Los ingenieros sénior de Prometheus de AceMQ ya han realizado este mismo tipo de proyecto. Ya sea que necesite orientación de arquitectura, remediación práctica o una alianza continua de servicios administrados, estamos listos para ayudarlo.