Descripción general
Un proveedor de analítica de salud necesitaba un historial largo para la planificación de capacidad y retención de varios años para ciertas métricas operativas, pero lo lograba conectando volúmenes de bloque muy grandes a Prometheus. AceMQ diseñó en su lugar una arquitectura respaldada por almacenamiento de objetos y con downsampling.
Desafío
La retención local estaba configurada en bastante más de un año, lo que implicaba volúmenes aprovisionados enormes por instancia, compactación lenta y migraciones de instancias muy engorrosas. Las consultas sobre rangos largos excedían el tiempo de espera porque recorrían muestras con resolución original en toda la ventana. Tampoco había una garantía real de durabilidad: la retención vivía en volúmenes conectados a instancias individuales, así que perder una instancia significaba perder un historial que el negocio se había comprometido a conservar.
Entorno
Prometheus en Kubernetes en varias cuentas de AWS, con almacenamiento de objetos disponible y obligaciones regulatorias de retención sobre un subconjunto de métricas.
Enfoque
Separamos los dos trabajos que se le pedían a Prometheus: datos recientes de alta resolución para las alertas, e historial de largo plazo para planificación y auditoría. Prometheus conserva una ventana local corta; los bloques se envían al almacenamiento de objetos, donde un compactador con downsampling genera resoluciones más gruesas para las consultas de rango largo. La obligación de retención se aplica entonces mediante políticas de ciclo de vida de objetos y no mediante la configuración de las instancias.
Solución
- Retención local de Prometheus reducida a una ventana pequeña, dimensionada solo para alertas y depuración inmediata
- Envío de bloques al almacenamiento de objetos con un compactador que genera resoluciones con downsampling de cinco minutos y de una hora
- Capa de consultas configurada para elegir automáticamente la resolución adecuada según el rango solicitado
- Obligaciones de retención aplicadas mediante reglas de ciclo de vida de objetos por prefijo de bucket, auditables con independencia de Prometheus
- Deduplicación configurada entre pares de Prometheus en alta disponibilidad para que las consultas de rango largo devuelvan una única serie coherente
- Modelo de costos que compara el almacenamiento en bloque aprovisionado con el almacenamiento de objetos más downsampling, con los volúmenes de datos reales del cliente
Resultado final
El almacenamiento en bloque aprovisionado por instancia se redujo aproximadamente en un orden de magnitud, y las consultas de capacidad de un año, que antes excedían el tiempo de espera, ahora responden en segundos sobre datos con downsampling. La retención ahora se puede hacer cumplir y auditar sin depender de que sobreviva una instancia en particular.