Retour à tous les cas d'usage

ConseilMultisectoriel

Réduire le volume d'ingestion sans sacrifier les données dont on a réellement besoin

Prestataire logistique international

Mission de conseil visant à réduire le volume d'ingestion quotidien de Splunk grâce au filtrage, au routage et au tiering, sans perdre la couverture sécurité ni conformité.

Présentation

Un prestataire logistique dépassait régulièrement son volume d'ingestion Splunk et faisait face à un renouvellement coûteux. AceMQ a analysé l'origine de ce volume et conçu une stratégie de filtrage et de tiering qui préservait toutes les capacités de détection et d'audit requises.

Défi

Une large part de l'ingestion quotidienne provenait d'une poignée de sources bavardes : des logs d'accès web verbeux incluant les requêtes vers les ressources statiques, une sortie debug activée lors d'un ancien incident et jamais désactivée, et une collecte en double où deux agents transmettaient les mêmes fichiers. Aucune de ces données n'était utilisée par une règle de détection ou une exigence de conformité, mais personne ne pouvait le prouver sans analyse, et aucune équipe ne voulait être celle qui supprimerait le log qui s'avérerait finalement important.

Environnement

Déploiement Splunk hybride ingérant des sources cloud et on-premise, soumis à des exigences de détection de sécurité et de rétention pour audit.

Approche

Nous partons des exigences : chaque règle de détection, chaque dashboard et chaque obligation de conformité est rattaché aux données dont il dépend. Tout ce qui n'apparaît pas dans cette cartographie est candidat au filtrage. Les données volumineuses à valeur ponctuelle sont routées vers un stockage objet peu coûteux, où elles restent récupérables au lieu d'être supprimées. Le filtrage s'effectue au niveau des forwarders, pour que le volume soit réduit avant d'être comptabilisé.

Solution

  1. Attribution du volume d'ingestion par source, sourcetype et hôte, pour classer précisément les contributeurs
  2. Rattachement de chaque règle de détection, recherche planifiée et exigence de conformité aux données dont elle dépend
  3. Routage vers la null queue au niveau des forwarders pour les classes d'événements dont on a prouvé qu'aucun usage ne les référence
  4. Réduction des sources verbeuses à l'origine : logs debug désactivés, requêtes vers les ressources statiques exclues, collecte en double supprimée
  5. Routage des données volumineuses et ponctuellement utiles vers un stockage objet, avec un chemin de récupération pour les investigations
  6. Ajout d'une surveillance des volumes et de budgets par source, pour qu'une future modification de logging ne puisse pas consommer la marge en silence

Résultat obtenu

L'ingestion quotidienne a baissé d'environ un tiers sans qu'aucune règle de détection ni obligation de conformité ne perde ses données sources, ce qui a sensiblement changé la négociation du renouvellement. Depuis, les budgets par source ont permis de repérer un changement de logging en mode debug avant qu'il n'affecte la licence.

Technologies

SplunkAmazon S3LinuxKafka

Besoin de conseils en architecture Splunk ?

Les ingénieurs Splunk seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.