Retour à tous les cas d'usage

AuditMultisectoriel

Découvrir quels champs vous indexez sans que personne ne les recherche jamais

Prestataire de services d'assurance

Audit du volume de logs, de l'utilité réelle de chaque champ et de la rétention dans un parc ELK dont la croissance du stockage avait largement dépassé toute prévision.

Présentation

Le cluster ELK d'un prestataire de services d'assurance avait saturé son stockage deux fois en dix-huit mois, sans raison évidente. AceMQ a analysé ce qui était réellement indexé et la part de ces données réellement utilisée.

Défi

Avec le mapping dynamique par défaut, chaque champ de chaque ligne de log JSON était à la fois indexé et stocké, y compris de volumineuses structures imbriquées que personne n'avait jamais recherchées. Plusieurs services journalisaient l'intégralité des corps de requêtes et de réponses au niveau info. La rétention était uniforme sur tous les index quelle que soit leur valeur, si bien que les logs applicatifs de niveau debug étaient conservés aussi longtemps que les enregistrements d'audit. La courbe de croissance du stockage n'avait aucun lien avec la croissance de l'activité, mais personne ne disposait des données par champ pour l'expliquer.

Environnement

Cluster ELK sur site ingérant les logs applicatifs, d'infrastructure et d'audit de l'ensemble de l'entreprise.

Approche

L'audit mesure la consommation de stockage au niveau de chaque champ, et pas seulement de chaque index, puis la croise avec l'usage qui en est fait dans les recherches et les tableaux de bord. Cette combinaison montre précisément quels champs coûtent le plus et rapportent le moins, ce qui transforme la rétention d'un débat de principe en une décision fondée sur des faits.

Solution

  1. Attribution du stockage par champ et par index pattern grâce à une analyse de l'utilisation du disque, au lieu des seuls totaux par index
  2. Croisement de l'usage des champs avec les recherches enregistrées, les tableaux de bord et l'historique des requêtes pour repérer les champs indexés mais jamais recherchés
  3. Revue du comportement du mapping dynamique pour chaque pattern, en identifiant où des mappings explicites devraient le remplacer
  4. Identification à la source des journalisations de charges utiles volumineuses, avec des recommandations pour échantillonner ou tronquer les corps de requêtes et de réponses
  5. Proposition de niveaux de rétention par catégorie de données, pour que les logs de debug et les enregistrements d'audit ne partagent plus la même politique
  6. Modèle de projection du stockage montrant la courbe de croissance avant et après les modifications recommandées

Résultat obtenu

L'audit a montré qu'une grande partie des champs indexés n'était jamais apparue dans aucune requête. Grâce à des mappings explicites et à une rétention par niveaux, la croissance prévue du stockage s'est suffisamment aplatie pour annuler la prochaine extension prévue.

Technologies

ELK StackElasticsearchKibanaLogstash

Prêt pour un bilan de santé ELK Stack ?

Les ingénieurs ELK Stack seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.