Zurück zu allen Kundenbeispielen

BeratungGesundheitswesen / Sozialleistungen

Metrikhistorie über Jahre – ohne jahrelange Rechnungen für Block Storage

Anbieter von Analytics für das Gesundheitswesen

Beratungsprojekt zum Design einer mehrjährigen Aufbewahrung von Prometheus-Metriken mit Downsampling und Object Storage als Ersatz für überdimensionierte lokale Platten.

Überblick

Ein Anbieter von Analytics für das Gesundheitswesen brauchte eine lange Historie für die Kapazitätsplanung und eine mehrjährige Aufbewahrung bestimmter Betriebsmetriken – und erreichte das, indem er sehr große Block-Volumes an Prometheus anhängte. AceMQ entwarf stattdessen eine Architektur auf Basis von Object Storage mit Downsampling.

Herausforderung

Die lokale Aufbewahrung war auf deutlich mehr als ein Jahr eingestellt – mit enormen bereitgestellten Volumes pro Instanz, langsamer Compaction und mühsamen Umzügen von Instanzen. Abfragen über lange Zeiträume liefen in Timeouts, weil sie Samples in Rohauflösung über das gesamte Fenster scannten. Ein echtes Konzept für Dauerhaftigkeit gab es ebenfalls nicht: Die Historie lag auf Volumes, die an einzelne Instanzen angehängt waren. Fiel eine Instanz aus, ging Historie verloren, deren Aufbewahrung das Unternehmen zugesagt hatte.

Umgebung

Prometheus auf Kubernetes über mehrere AWS-Accounts, Object Storage verfügbar, regulatorische Aufbewahrungspflichten für einen Teil der Metriken.

Vorgehen

Wir haben die beiden Aufgaben getrennt, die Prometheus erfüllen sollte: aktuelle Daten in hoher Auflösung für das Alerting und eine lange Historie für Planung und Audit. Prometheus behält ein kurzes lokales Fenster; die Blöcke wandern in den Object Storage, wo ein Downsampling-Compactor gröbere Auflösungen für Abfragen über lange Zeiträume erzeugt. Die Aufbewahrungspflicht wird dann über Lifecycle Policies des Object Storage durchgesetzt statt über die Konfiguration einzelner Instanzen.

Lösung

  1. Lokale Aufbewahrung in Prometheus auf ein kleines Fenster verkürzt, das nur für Alerting und unmittelbares Debugging bemessen ist
  2. Versand der Blöcke in den Object Storage mit einem Compactor, der Auflösungen von fünf Minuten und einer Stunde erzeugt
  3. Abfrageschicht so konfiguriert, dass sie je nach angefragtem Zeitraum automatisch die passende Auflösung wählt
  4. Aufbewahrungspflichten über Lifecycle-Regeln pro Bucket-Präfix durchgesetzt und unabhängig von Prometheus auditierbar
  5. Deduplizierung über hochverfügbare Prometheus-Paare konfiguriert, damit Abfragen über lange Zeiträume eine einzige stimmige Zeitreihe liefern
  6. Kostenmodell, das bereitgestellten Block Storage mit Object Storage plus Downsampling beim realen Datenvolumen des Kunden vergleicht

Resultat

Der bereitgestellte Block Storage pro Instanz sank um etwa eine Größenordnung, und Kapazitätsabfragen über ein Jahr, die früher in Timeouts liefen, liefern auf Basis der heruntergerechneten Daten nun in Sekunden Ergebnisse. Die Aufbewahrung ist jetzt durchsetzbar und auditierbar, ohne davon abzuhängen, dass eine einzelne Instanz überlebt.

Technologien

PrometheusThanosAmazon S3GrafanaKubernetes

Brauchen Sie Architekturberatung für Prometheus?

Die Senior Engineers von AceMQ für Prometheus haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.