Présentation
Un prestataire logistique dépassait régulièrement son volume d'ingestion Splunk et faisait face à un renouvellement coûteux. AceMQ a analysé l'origine de ce volume et conçu une stratégie de filtrage et de tiering qui préservait toutes les capacités de détection et d'audit requises.
Défi
Une large part de l'ingestion quotidienne provenait d'une poignée de sources bavardes : des logs d'accès web verbeux incluant les requêtes vers les ressources statiques, une sortie debug activée lors d'un ancien incident et jamais désactivée, et une collecte en double où deux agents transmettaient les mêmes fichiers. Aucune de ces données n'était utilisée par une règle de détection ou une exigence de conformité, mais personne ne pouvait le prouver sans analyse, et aucune équipe ne voulait être celle qui supprimerait le log qui s'avérerait finalement important.
Environnement
Déploiement Splunk hybride ingérant des sources cloud et on-premise, soumis à des exigences de détection de sécurité et de rétention pour audit.
Approche
Nous partons des exigences : chaque règle de détection, chaque dashboard et chaque obligation de conformité est rattaché aux données dont il dépend. Tout ce qui n'apparaît pas dans cette cartographie est candidat au filtrage. Les données volumineuses à valeur ponctuelle sont routées vers un stockage objet peu coûteux, où elles restent récupérables au lieu d'être supprimées. Le filtrage s'effectue au niveau des forwarders, pour que le volume soit réduit avant d'être comptabilisé.
Solution
- Attribution du volume d'ingestion par source, sourcetype et hôte, pour classer précisément les contributeurs
- Rattachement de chaque règle de détection, recherche planifiée et exigence de conformité aux données dont elle dépend
- Routage vers la null queue au niveau des forwarders pour les classes d'événements dont on a prouvé qu'aucun usage ne les référence
- Réduction des sources verbeuses à l'origine : logs debug désactivés, requêtes vers les ressources statiques exclues, collecte en double supprimée
- Routage des données volumineuses et ponctuellement utiles vers un stockage objet, avec un chemin de récupération pour les investigations
- Ajout d'une surveillance des volumes et de budgets par source, pour qu'une future modification de logging ne puisse pas consommer la marge en silence
Résultat obtenu
L'ingestion quotidienne a baissé d'environ un tiers sans qu'aucune règle de détection ni obligation de conformité ne perde ses données sources, ce qui a sensiblement changé la négociation du renouvellement. Depuis, les budgets par source ont permis de repérer un changement de logging en mode debug avant qu'il n'affecte la licence.