Présentation
Un opérateur télécom avait accumulé des centaines d'index et bien plus de sourcetypes, dont beaucoup quasi identiques. Les recherches étaient lentes, la rétention incohérente et le contrôle d'accès impossible à maîtriser. AceMQ a audité l'architecture et produit un schéma de consolidation.
Défi
Chaque nouvelle source de données recevait par défaut son propre index : la rétention, le contrôle d'accès et le tiering du stockage devaient donc être configurés des centaines de fois, et ne l'étaient souvent pas. Les sourcetypes avaient été attribués automatiquement, ce qui avait produit de nombreuses variantes d'un même format de log avec des extractions de champs différentes ; pour chercher sur un type de données logique, il fallait lister chaque variante à la main. Les analystes passaient régulièrement à côté de données, faute de savoir qu'une variante existait.
Environnement
Cluster d'indexeurs Splunk on-premise comptant des centaines d'index couvrant des données réseau, sécurité et applicatives.
Approche
L'audit regroupe index et sourcetypes selon leurs besoins réels de contrôle d'accès et de rétention plutôt que selon leur système source, puisque ce sont ces besoins qui devraient fixer les frontières des index. Nous mesurons les schémas de recherche pour vérifier que ce regroupement correspond à la façon dont les utilisateurs interrogent réellement les données, puis nous concevons une organisation consolidée, avec un plan de migration qui ne casse pas les recherches enregistrées existantes.
Solution
- Inventaire complet des index et des sourcetypes, avec volume, paramètre de rétention et configuration du contrôle d'accès pour chaque entrée
- Regroupement des variantes de sourcetypes par format de log réel pour identifier les doublons à fusionner
- Analyse des schémas de recherche pour confirmer que les frontières d'index proposées correspondent à la façon dont les analystes interrogent réellement les données
- Conception d'index consolidés guidée par les exigences de rétention et de contrôle d'accès, et non par l'identité du système source
- Standardisation des extractions de champs par sourcetype consolidé, pour qu'une seule recherche couvre ce qui en exigeait plusieurs
- Plan de migration préservant les recherches enregistrées existantes grâce à des macros et des alias, pour qu'aucun dashboard ne casse au basculement
Résultat obtenu
Le nombre d'index a été ramené à un ensemble maîtrisable, avec une rétention et un contrôle d'accès définis une seule fois par niveau plutôt que par source. Les recherches qui imposaient d'énumérer les variantes de sourcetypes portent désormais sur un type consolidé unique, et les analystes ne passent plus à côté de données dont ils ignoraient l'existence.