Überblick
Ein Anbieter von Analytics für das Gesundheitswesen brauchte aus Audit-Gründen eine mehrjährige Aufbewahrung, hielt aber sämtliche Daten auf teuren Hot Nodes. AceMQ entwarf eine ILM- und Tiering-Strategie, die die Aufbewahrungspflicht erfüllt und zugleich den Großteil der Daten auf günstigeren Storage verlagert.
Herausforderung
Die Aufbewahrungsregeln wurden über handgeschriebene Cleanup-Skripte durchgesetzt, die gelegentlich das falsche Index-Pattern löschten. Es gab weder einen Warm- noch einen Cold-Tier, Snapshots wurden uneinheitlich erstellt, und niemand hatte je einen Restore getestet. Das Compliance-Team konnte nicht beantworten, wie lange eine bestimmte Klasse von Datensätzen tatsächlich aufbewahrt wurde – denn die Antwort hing davon ab, welches Skript zuletzt erfolgreich gelaufen war.
Umgebung
Hybrides Elasticsearch-Deployment mit Hot Nodes On-Premises und Cloud Object Storage für Snapshots und durchsuchbare Daten.
Vorgehen
Zunächst ordneten wir jedes Index-Pattern seiner tatsächlichen regulatorischen Aufbewahrungspflicht zu, denn mehrere Patterns wurden weit länger als nötig aufbewahrt. Darauf aufbauend entwarfen wir rollover-gesteuerte ILM-Policies mit expliziten Hot-, Warm- und Cold-Phasen, ergänzten eine Snapshot-Lifecycle-Policy auf Object Storage und probten die Restore-Verfahren, bis die Zeiten bekannt waren statt nur angenommen.
Lösung
- Aufbewahrungsanforderungen pro Index-Pattern erfasst und mit dem abgeglichen, was die Cleanup-Skripte tatsächlich taten
- ILM-Policies auf Basis von Rollover-Aliassen mit Größen- und Altersbedingungen, die die selbst gebauten Löschskripte vollständig ersetzen
- Definition der Hot-, Warm- und Cold-Phasen einschließlich Force-Merge, Reduzierung der Replicas und Shard Allocation Filtering nach Node-Attribut
- Snapshot Lifecycle Management auf Object Storage mit Aufbewahrungsregeln, die der Compliance-Pflicht entsprechen
- Restore-Übungen durchgeführt und gemessen, sodass das Recovery-Ziel eine gemessene Zahl ist statt einer Schätzung
- Policy-Definitionen als Infrastructure as Code eingecheckt, sodass Änderungen ein Review durchlaufen
Resultat
Der Großteil der indexierten Daten liegt jetzt auf Warm- und Cold-Tiers, was erhebliche Hot-Node-Kapazität für Abfrage-Workloads freisetzt. Die Retention wird per Policy statt per Skript durchgesetzt, und das Compliance-Team kann Fragen zur Aufbewahrung direkt anhand der Policy-Definitionen beantworten.