Zurück zu allen Kundenbeispielen

BeratungGesundheitswesen / Sozialleistungen

Retention, die Auditoren zufriedenstellt – ohne Hot-Tier-Preise für kalte Daten

Anbieter von Analytics für das Gesundheitswesen

Beratungsprojekt zum Design von Index Lifecycle Management, Data Tiering und Snapshot-Richtlinie für eine regulierte Elasticsearch-Umgebung.

Überblick

Ein Anbieter von Analytics für das Gesundheitswesen brauchte aus Audit-Gründen eine mehrjährige Aufbewahrung, hielt aber sämtliche Daten auf teuren Hot Nodes. AceMQ entwarf eine ILM- und Tiering-Strategie, die die Aufbewahrungspflicht erfüllt und zugleich den Großteil der Daten auf günstigeren Storage verlagert.

Herausforderung

Die Aufbewahrungsregeln wurden über handgeschriebene Cleanup-Skripte durchgesetzt, die gelegentlich das falsche Index-Pattern löschten. Es gab weder einen Warm- noch einen Cold-Tier, Snapshots wurden uneinheitlich erstellt, und niemand hatte je einen Restore getestet. Das Compliance-Team konnte nicht beantworten, wie lange eine bestimmte Klasse von Datensätzen tatsächlich aufbewahrt wurde – denn die Antwort hing davon ab, welches Skript zuletzt erfolgreich gelaufen war.

Umgebung

Hybrides Elasticsearch-Deployment mit Hot Nodes On-Premises und Cloud Object Storage für Snapshots und durchsuchbare Daten.

Vorgehen

Zunächst ordneten wir jedes Index-Pattern seiner tatsächlichen regulatorischen Aufbewahrungspflicht zu, denn mehrere Patterns wurden weit länger als nötig aufbewahrt. Darauf aufbauend entwarfen wir rollover-gesteuerte ILM-Policies mit expliziten Hot-, Warm- und Cold-Phasen, ergänzten eine Snapshot-Lifecycle-Policy auf Object Storage und probten die Restore-Verfahren, bis die Zeiten bekannt waren statt nur angenommen.

Lösung

  1. Aufbewahrungsanforderungen pro Index-Pattern erfasst und mit dem abgeglichen, was die Cleanup-Skripte tatsächlich taten
  2. ILM-Policies auf Basis von Rollover-Aliassen mit Größen- und Altersbedingungen, die die selbst gebauten Löschskripte vollständig ersetzen
  3. Definition der Hot-, Warm- und Cold-Phasen einschließlich Force-Merge, Reduzierung der Replicas und Shard Allocation Filtering nach Node-Attribut
  4. Snapshot Lifecycle Management auf Object Storage mit Aufbewahrungsregeln, die der Compliance-Pflicht entsprechen
  5. Restore-Übungen durchgeführt und gemessen, sodass das Recovery-Ziel eine gemessene Zahl ist statt einer Schätzung
  6. Policy-Definitionen als Infrastructure as Code eingecheckt, sodass Änderungen ein Review durchlaufen

Resultat

Der Großteil der indexierten Daten liegt jetzt auf Warm- und Cold-Tiers, was erhebliche Hot-Node-Kapazität für Abfrage-Workloads freisetzt. Die Retention wird per Policy statt per Skript durchgesetzt, und das Compliance-Team kann Fragen zur Aufbewahrung direkt anhand der Policy-Definitionen beantworten.

Technologien

ElasticsearchKibanaAmazon S3Terraform

Brauchen Sie Architekturberatung für Elasticsearch?

Die Senior Engineers von AceMQ für Elasticsearch haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.