Retour à tous les cas d'usage

ConseilSanté / prévoyance

Une rétention qui satisfait les auditeurs, sans payer le prix du niveau chaud pour des données froides

Fournisseur d'analytique santé

Mission de conseil pour concevoir la gestion du cycle de vie des index, le tiering des données et la politique de snapshots d'un parc Elasticsearch soumis à réglementation.

Présentation

Un fournisseur d'analytique dans le secteur de la santé devait conserver ses données plusieurs années pour des raisons d'audit, mais gardait tout sur des nœuds chauds coûteux. AceMQ a conçu une stratégie ILM et de tiering qui respecte l'exigence de rétention tout en déplaçant l'essentiel des données vers un stockage moins cher.

Défi

Les règles de rétention étaient appliquées par des scripts de nettoyage écrits à la main, qui supprimaient parfois le mauvais motif d'index. Il n'existait ni niveau tiède ni niveau froid, les snapshots étaient pris de façon irrégulière et personne n'avait jamais testé de restauration. L'équipe conformité ne pouvait pas dire combien de temps une catégorie d'enregistrements était réellement conservée, car la réponse dépendait du dernier script exécuté avec succès.

Environnement

Déploiement Elasticsearch hybride, avec des nœuds chauds sur site et un stockage objet dans le cloud disponible pour les snapshots et les données interrogeables.

Approche

Nous avons commencé par rattacher chaque motif d'index à son obligation réglementaire de rétention réelle, plusieurs motifs étant conservés bien plus longtemps que nécessaire. Nous avons ensuite conçu des politiques ILM pilotées par rollover, avec des phases chaude, tiède et froide explicites, ajouté une politique de cycle de vie des snapshots vers le stockage objet, et répété les procédures de restauration jusqu'à ce que les durées soient mesurées plutôt que supposées.

Solution

  1. Exigences de rétention établies par motif d'index et confrontées à ce que faisaient réellement les scripts de nettoyage
  2. Politiques ILM fondées sur des alias de rollover avec conditions de taille et d'âge, remplaçant entièrement les scripts de suppression maison
  3. Définition des phases chaude, tiède et froide, avec force-merge, réduction du nombre de réplicas et filtrage de l'allocation des shards par attribut de nœud
  4. Gestion du cycle de vie des snapshots vers le stockage objet, avec des règles de rétention alignées sur l'obligation de conformité
  5. Exercices de restauration réalisés et chronométrés, pour que l'objectif de reprise soit une valeur mesurée et non une estimation
  6. Définitions des politiques versionnées en infrastructure as code, afin que toute modification passe par une revue

Résultat obtenu

La majorité des données indexées réside désormais sur les niveaux tiède et froid, ce qui libère une capacité importante sur les nœuds chauds pour les requêtes. La rétention est appliquée par des politiques et non plus par des scripts, et l'équipe conformité peut répondre aux questions de rétention directement à partir des définitions de politiques.

Technologies

ElasticsearchKibanaAmazon S3Terraform

Besoin de conseils en architecture Elasticsearch ?

Les ingénieurs Elasticsearch seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.