Retour à tous les cas d'usage

ConseilSanté / prévoyance

Des années d'historique de métriques sans des années de factures de stockage bloc

Fournisseur d'analytique de santé

Mission de conseil pour concevoir une rétention pluriannuelle des métriques Prometheus avec downsampling et stockage objet, en remplacement de disques locaux surdimensionnés.

Présentation

Un fournisseur d'analytique de santé avait besoin d'un long historique pour la planification de capacité et d'une rétention pluriannuelle pour certaines métriques opérationnelles, mais y parvenait en attachant de très gros volumes bloc à Prometheus. AceMQ a conçu à la place une architecture adossée au stockage objet, avec downsampling.

Défi

La rétention locale dépassait largement un an, ce qui imposait d'énormes volumes provisionnés par instance, une compaction lente et des déplacements d'instance pénibles. Les requêtes sur de longues plages expiraient, car elles parcouraient des échantillons en résolution brute sur toute la fenêtre. La durabilité n'était pas non plus réellement assurée : la rétention reposait sur des volumes attachés à des instances uniques, si bien que la perte d'une instance signifiait la perte d'un historique que l'entreprise s'était engagée à conserver.

Environnement

Instances Prometheus sur Kubernetes réparties sur plusieurs comptes AWS, stockage objet disponible, obligations réglementaires de rétention sur une partie des métriques.

Approche

Nous avons séparé les deux missions confiées à Prometheus : les données récentes en haute résolution pour l'alerting, et l'historique long pour la planification et l'audit. Prometheus conserve une courte fenêtre locale ; les blocs sont envoyés vers le stockage objet, où un compacteur avec downsampling produit des résolutions plus grossières pour les requêtes sur de longues plages. L'obligation de rétention est alors appliquée par une politique de cycle de vie des objets plutôt que par la configuration des instances.

Solution

  1. Rétention locale de Prometheus ramenée à une petite fenêtre, dimensionnée uniquement pour l'alerting et le débogage immédiat
  2. Envoi des blocs vers le stockage objet, avec un compacteur produisant des résolutions sous-échantillonnées à cinq minutes et à une heure
  3. Couche de requêtes configurée pour choisir automatiquement la résolution adaptée à la plage demandée
  4. Obligations de rétention appliquées par des règles de cycle de vie des objets par préfixe de bucket, auditables indépendamment de Prometheus
  5. Déduplication configurée sur les paires Prometheus hautement disponibles, pour que les requêtes sur de longues plages renvoient une série cohérente unique
  6. Modèle de coûts comparant le stockage bloc provisionné au stockage objet avec downsampling, sur les volumes de données réels du client

Résultat obtenu

Le stockage bloc provisionné par instance a baissé d'environ un ordre de grandeur, et les requêtes de capacité sur une année, qui expiraient auparavant, répondent désormais en quelques secondes grâce aux données sous-échantillonnées. La rétention est maintenant applicable et auditable sans dépendre de la survie d'une instance en particulier.

Technologies

PrometheusThanosAmazon S3GrafanaKubernetes

Besoin de conseils en architecture Prometheus ?

Les ingénieurs Prometheus seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.