Zurück zu allen Kundenbeispielen

FehlerbehebungBehörden / Verteidigung

Eine Ingest-Pipeline reparieren, die unbemerkt Stunden in Rückstand gerät

Behörde des öffentlichen Sektors

Behebung einer Splunk-Ingest-Pipeline, in der sich die Queues der Forwarder stauten und Security-Events in Spitzenzeiten mit Stunden Verspätung ankamen.

Überblick

Eine Behörde des öffentlichen Sektors stellte fest, dass Security-Events in Spitzenzeiten erst Stunden später in ihren Splunk-Indizes ankamen. Detection Rules schlugen so spät an, dass sie nutzlos waren. AceMQ sanierte den Ingest-Pfad über Forwarder, Zwischenschichten und Indexer hinweg.

Herausforderung

Die Universal Forwarder blockierten an vollen Output Queues, wodurch die File-Monitor-Inputs aufhörten zu lesen und sich der Rückstand auf der Festplatte aufbaute. Der eigentliche Engpass war die zwischengeschaltete Heavy-Forwarder-Schicht: Sie führte für jedes Event inline regex-lastige Transformationen aus und war lange vor den Indexern CPU-gebunden. Da die Queue-Metriken der Forwarder nicht überwacht wurden, waren verspätete Daten das einzige sichtbare Symptom – und das schrieben alle den Indexern zu.

Umgebung

Splunk On-Premises mit Universal Forwardern auf mehreren tausend Hosts, einer zwischengeschalteten Heavy-Forwarder-Schicht und einem Indexer-Cluster.

Vorgehen

Wir instrumentierten die Pipeline Stufe für Stufe, um herauszufinden, wo sich Events tatsächlich stauten, statt auf Verdacht Indexer-Kapazität hinzuzufügen. Nachdem die Heavy-Forwarder-Schicht als Engpass feststand, verlagerten wir die aufwendige Parsing-Arbeit dorthin, wo sie hingehört, reduzierten ihren Umfang und balancierten anschließend die Forwarding-Topologie neu, damit ein einzelner langsamer Pfad nicht Tausende von Quellen ausbremsen kann.

Lösung

  1. Metriken zum Füllstand der Queues auf jeder Pipeline-Stufe erfasst, um den echten Engpass zu lokalisieren, statt ihn zu vermuten
  2. Aufwendige Inline-Transformationen geprüft, unnötige Regex-Arbeit entfernt und der Rest nur dort, wo erforderlich, auf die Indexierungszeit verlagert
  3. Heavy-Forwarder-Schicht neu dimensioniert und parallele Ingestion Pipelines aktiviert, um die verfügbaren Cores richtig zu nutzen
  4. Output Groups der Forwarder mit autoLB-Tuning neu ausbalanciert, damit ein einzelner langsamer Indexer die Quellen im Upstream nicht mehr blockiert
  5. Persistent Queues auf den Inputs konfiguriert, damit ein Stau im Downstream gepuffert wird, statt den Reader zu blockieren
  6. Alarmierung bei Queue-Sättigung ergänzt, damit Ingest-Verzögerungen schon beim Entstehen erkannt und nicht erst von Analysten gemeldet werden

Resultat

Die Ingest-Verzögerung in Spitzenzeiten sank von Stunden auf nahezu Echtzeit, und Detection Rules greifen heute auf aktuelle Daten. Die Queue-Alarmierung hat seither zwei sich anbahnende Rückstände erkannt, bevor einer davon für Analysten sichtbar wurde.

Technologien

SplunkLinuxSyslogKubernetes

Haben Sie ein Produktionsproblem mit Splunk?

Die Senior Engineers von AceMQ für Splunk haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.