Retour à tous les cas d'usage

AuditTélécommunications

La conception des index détermine la vitesse des recherches et le coût de rétention avant même la première requête

Opérateur de télécommunications

Audit d'une conception d'index et de sourcetypes qui avait grandi sans plan d'ensemble, au prix de recherches lentes et de règles de rétention ingérables.

Présentation

Un opérateur télécom avait accumulé des centaines d'index et bien plus de sourcetypes, dont beaucoup quasi identiques. Les recherches étaient lentes, la rétention incohérente et le contrôle d'accès impossible à maîtriser. AceMQ a audité l'architecture et produit un schéma de consolidation.

Défi

Chaque nouvelle source de données recevait par défaut son propre index : la rétention, le contrôle d'accès et le tiering du stockage devaient donc être configurés des centaines de fois, et ne l'étaient souvent pas. Les sourcetypes avaient été attribués automatiquement, ce qui avait produit de nombreuses variantes d'un même format de log avec des extractions de champs différentes ; pour chercher sur un type de données logique, il fallait lister chaque variante à la main. Les analystes passaient régulièrement à côté de données, faute de savoir qu'une variante existait.

Environnement

Cluster d'indexeurs Splunk on-premise comptant des centaines d'index couvrant des données réseau, sécurité et applicatives.

Approche

L'audit regroupe index et sourcetypes selon leurs besoins réels de contrôle d'accès et de rétention plutôt que selon leur système source, puisque ce sont ces besoins qui devraient fixer les frontières des index. Nous mesurons les schémas de recherche pour vérifier que ce regroupement correspond à la façon dont les utilisateurs interrogent réellement les données, puis nous concevons une organisation consolidée, avec un plan de migration qui ne casse pas les recherches enregistrées existantes.

Solution

  1. Inventaire complet des index et des sourcetypes, avec volume, paramètre de rétention et configuration du contrôle d'accès pour chaque entrée
  2. Regroupement des variantes de sourcetypes par format de log réel pour identifier les doublons à fusionner
  3. Analyse des schémas de recherche pour confirmer que les frontières d'index proposées correspondent à la façon dont les analystes interrogent réellement les données
  4. Conception d'index consolidés guidée par les exigences de rétention et de contrôle d'accès, et non par l'identité du système source
  5. Standardisation des extractions de champs par sourcetype consolidé, pour qu'une seule recherche couvre ce qui en exigeait plusieurs
  6. Plan de migration préservant les recherches enregistrées existantes grâce à des macros et des alias, pour qu'aucun dashboard ne casse au basculement

Résultat obtenu

Le nombre d'index a été ramené à un ensemble maîtrisable, avec une rétention et un contrôle d'accès définis une seule fois par niveau plutôt que par source. Les recherches qui imposaient d'énumérer les variantes de sourcetypes portent désormais sur un type consolidé unique, et les analystes ne passent plus à côté de données dont ils ignoraient l'existence.

Technologies

SplunkLinuxSyslog

Prêt pour un bilan de santé Splunk ?

Les ingénieurs Splunk seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.