Überblick
Eine Behörde des öffentlichen Sektors stellte fest, dass Security-Events in Spitzenzeiten erst Stunden später in ihren Splunk-Indizes ankamen. Detection Rules schlugen so spät an, dass sie nutzlos waren. AceMQ sanierte den Ingest-Pfad über Forwarder, Zwischenschichten und Indexer hinweg.
Herausforderung
Die Universal Forwarder blockierten an vollen Output Queues, wodurch die File-Monitor-Inputs aufhörten zu lesen und sich der Rückstand auf der Festplatte aufbaute. Der eigentliche Engpass war die zwischengeschaltete Heavy-Forwarder-Schicht: Sie führte für jedes Event inline regex-lastige Transformationen aus und war lange vor den Indexern CPU-gebunden. Da die Queue-Metriken der Forwarder nicht überwacht wurden, waren verspätete Daten das einzige sichtbare Symptom – und das schrieben alle den Indexern zu.
Umgebung
Splunk On-Premises mit Universal Forwardern auf mehreren tausend Hosts, einer zwischengeschalteten Heavy-Forwarder-Schicht und einem Indexer-Cluster.
Vorgehen
Wir instrumentierten die Pipeline Stufe für Stufe, um herauszufinden, wo sich Events tatsächlich stauten, statt auf Verdacht Indexer-Kapazität hinzuzufügen. Nachdem die Heavy-Forwarder-Schicht als Engpass feststand, verlagerten wir die aufwendige Parsing-Arbeit dorthin, wo sie hingehört, reduzierten ihren Umfang und balancierten anschließend die Forwarding-Topologie neu, damit ein einzelner langsamer Pfad nicht Tausende von Quellen ausbremsen kann.
Lösung
- Metriken zum Füllstand der Queues auf jeder Pipeline-Stufe erfasst, um den echten Engpass zu lokalisieren, statt ihn zu vermuten
- Aufwendige Inline-Transformationen geprüft, unnötige Regex-Arbeit entfernt und der Rest nur dort, wo erforderlich, auf die Indexierungszeit verlagert
- Heavy-Forwarder-Schicht neu dimensioniert und parallele Ingestion Pipelines aktiviert, um die verfügbaren Cores richtig zu nutzen
- Output Groups der Forwarder mit autoLB-Tuning neu ausbalanciert, damit ein einzelner langsamer Indexer die Quellen im Upstream nicht mehr blockiert
- Persistent Queues auf den Inputs konfiguriert, damit ein Stau im Downstream gepuffert wird, statt den Reader zu blockieren
- Alarmierung bei Queue-Sättigung ergänzt, damit Ingest-Verzögerungen schon beim Entstehen erkannt und nicht erst von Analysten gemeldet werden
Resultat
Die Ingest-Verzögerung in Spitzenzeiten sank von Stunden auf nahezu Echtzeit, und Detection Rules greifen heute auf aktuelle Daten. Die Queue-Alarmierung hat seither zwei sich anbahnende Rückstände erkannt, bevor einer davon für Analysten sichtbar wurde.