Retour à tous les cas d'usage

RemédiationSecteur public / défense

Réparer un pipeline d'ingestion qui prend silencieusement des heures de retard

Organisme du secteur public

Remise en état d'un pipeline d'ingestion Splunk dont les files d'attente des forwarders saturaient, faisant arriver les événements de sécurité avec plusieurs heures de retard en période de pointe.

Présentation

Un organisme du secteur public a constaté que, pendant les périodes chargées, les événements de sécurité atteignaient ses index Splunk avec plusieurs heures de décalage. Les règles de détection se déclenchaient trop tard pour être utiles. AceMQ a remis en état le chemin d'ingestion sur l'ensemble des forwarders, des tiers intermédiaires et des indexeurs.

Défi

Les universal forwarders se bloquaient sur des files de sortie pleines, ce qui faisait cesser la lecture des inputs de surveillance de fichiers et accumulait le backlog sur disque. Le véritable goulet d'étranglement était le tier intermédiaire de heavy forwarders : il appliquait en ligne, sur chaque événement, des transformations lourdes en regex et saturait son CPU bien avant les indexeurs. Les métriques de files d'attente des forwarders n'étant pas surveillées, le seul symptôme visible était le retard des données, que tout le monde attribuait aux indexeurs.

Environnement

Splunk on-premise avec des universal forwarders sur plusieurs milliers d'hôtes, un tier intermédiaire de heavy forwarders et un cluster d'indexeurs.

Approche

Nous avons instrumenté le pipeline étape par étape pour localiser l'endroit où les événements s'accumulaient réellement, plutôt que d'ajouter de la capacité d'indexation sur une simple hypothèse. Une fois le tier de heavy forwarders identifié comme la contrainte, nous avons déplacé le parsing coûteux là où il doit se faire et réduit son volume, puis rééquilibré la topologie de forwarding pour qu'un seul chemin lent ne puisse plus bloquer des milliers de sources.

Solution

  1. Collecte des métriques de remplissage des files d'attente à chaque étape du pipeline pour localiser le vrai goulet d'étranglement au lieu de le déduire
  2. Audit des transformations en ligne coûteuses, avec suppression du travail regex inutile et report du reste à l'indexation uniquement lorsque c'est nécessaire
  3. Redimensionnement du tier de heavy forwarders et activation de pipelines d'ingestion parallèles pour exploiter correctement les cœurs disponibles
  4. Rééquilibrage des groupes de sortie des forwarders avec un réglage d'autoLB pour qu'un seul indexeur lent ne bloque plus les sources en amont
  5. Configuration de files d'attente persistantes sur les inputs pour qu'un blocage en aval soit mis en tampon au lieu de bloquer la lecture
  6. Ajout d'alertes de saturation des files d'attente pour détecter le retard d'ingestion dès qu'il apparaît, plutôt que de l'apprendre par les analystes

Résultat obtenu

En période de pointe, le retard d'ingestion est passé de plusieurs heures à un quasi-temps réel, et les règles de détection s'exécutent désormais sur des données à jour. Les alertes sur les files d'attente ont depuis détecté deux backlogs naissants avant qu'aucun ne devienne visible pour les analystes.

Technologies

SplunkLinuxSyslogKubernetes

Confronté à un incident de production Splunk ?

Les ingénieurs Splunk seniors d'AceMQ ont déjà mené exactement ce type de mission. Que vous ayez besoin de conseils d'architecture, d'une remédiation concrète ou d'un partenariat managé dans la durée, nous sommes prêts à vous aider.