Présentation
Un organisme du secteur public a constaté que, pendant les périodes chargées, les événements de sécurité atteignaient ses index Splunk avec plusieurs heures de décalage. Les règles de détection se déclenchaient trop tard pour être utiles. AceMQ a remis en état le chemin d'ingestion sur l'ensemble des forwarders, des tiers intermédiaires et des indexeurs.
Défi
Les universal forwarders se bloquaient sur des files de sortie pleines, ce qui faisait cesser la lecture des inputs de surveillance de fichiers et accumulait le backlog sur disque. Le véritable goulet d'étranglement était le tier intermédiaire de heavy forwarders : il appliquait en ligne, sur chaque événement, des transformations lourdes en regex et saturait son CPU bien avant les indexeurs. Les métriques de files d'attente des forwarders n'étant pas surveillées, le seul symptôme visible était le retard des données, que tout le monde attribuait aux indexeurs.
Environnement
Splunk on-premise avec des universal forwarders sur plusieurs milliers d'hôtes, un tier intermédiaire de heavy forwarders et un cluster d'indexeurs.
Approche
Nous avons instrumenté le pipeline étape par étape pour localiser l'endroit où les événements s'accumulaient réellement, plutôt que d'ajouter de la capacité d'indexation sur une simple hypothèse. Une fois le tier de heavy forwarders identifié comme la contrainte, nous avons déplacé le parsing coûteux là où il doit se faire et réduit son volume, puis rééquilibré la topologie de forwarding pour qu'un seul chemin lent ne puisse plus bloquer des milliers de sources.
Solution
- Collecte des métriques de remplissage des files d'attente à chaque étape du pipeline pour localiser le vrai goulet d'étranglement au lieu de le déduire
- Audit des transformations en ligne coûteuses, avec suppression du travail regex inutile et report du reste à l'indexation uniquement lorsque c'est nécessaire
- Redimensionnement du tier de heavy forwarders et activation de pipelines d'ingestion parallèles pour exploiter correctement les cœurs disponibles
- Rééquilibrage des groupes de sortie des forwarders avec un réglage d'autoLB pour qu'un seul indexeur lent ne bloque plus les sources en amont
- Configuration de files d'attente persistantes sur les inputs pour qu'un blocage en aval soit mis en tampon au lieu de bloquer la lecture
- Ajout d'alertes de saturation des files d'attente pour détecter le retard d'ingestion dès qu'il apparaît, plutôt que de l'apprendre par les analystes
Résultat obtenu
En période de pointe, le retard d'ingestion est passé de plusieurs heures à un quasi-temps réel, et les règles de détection s'exécutent désormais sur des données à jour. Les alertes sur les files d'attente ont depuis détecté deux backlogs naissants avant qu'aucun ne devienne visible pour les analystes.