Présentation
Un fournisseur d'analytique dans le secteur de la santé devait conserver ses données plusieurs années pour des raisons d'audit, mais gardait tout sur des nœuds chauds coûteux. AceMQ a conçu une stratégie ILM et de tiering qui respecte l'exigence de rétention tout en déplaçant l'essentiel des données vers un stockage moins cher.
Défi
Les règles de rétention étaient appliquées par des scripts de nettoyage écrits à la main, qui supprimaient parfois le mauvais motif d'index. Il n'existait ni niveau tiède ni niveau froid, les snapshots étaient pris de façon irrégulière et personne n'avait jamais testé de restauration. L'équipe conformité ne pouvait pas dire combien de temps une catégorie d'enregistrements était réellement conservée, car la réponse dépendait du dernier script exécuté avec succès.
Environnement
Déploiement Elasticsearch hybride, avec des nœuds chauds sur site et un stockage objet dans le cloud disponible pour les snapshots et les données interrogeables.
Approche
Nous avons commencé par rattacher chaque motif d'index à son obligation réglementaire de rétention réelle, plusieurs motifs étant conservés bien plus longtemps que nécessaire. Nous avons ensuite conçu des politiques ILM pilotées par rollover, avec des phases chaude, tiède et froide explicites, ajouté une politique de cycle de vie des snapshots vers le stockage objet, et répété les procédures de restauration jusqu'à ce que les durées soient mesurées plutôt que supposées.
Solution
- Exigences de rétention établies par motif d'index et confrontées à ce que faisaient réellement les scripts de nettoyage
- Politiques ILM fondées sur des alias de rollover avec conditions de taille et d'âge, remplaçant entièrement les scripts de suppression maison
- Définition des phases chaude, tiède et froide, avec force-merge, réduction du nombre de réplicas et filtrage de l'allocation des shards par attribut de nœud
- Gestion du cycle de vie des snapshots vers le stockage objet, avec des règles de rétention alignées sur l'obligation de conformité
- Exercices de restauration réalisés et chronométrés, pour que l'objectif de reprise soit une valeur mesurée et non une estimation
- Définitions des politiques versionnées en infrastructure as code, afin que toute modification passe par une revue
Résultat obtenu
La majorité des données indexées réside désormais sur les niveaux tiède et froid, ce qui libère une capacité importante sur les nœuds chauds pour les requêtes. La rétention est appliquée par des politiques et non plus par des scripts, et l'équipe conformité peut répondre aux questions de rétention directement à partir des définitions de politiques.