Überblick
Ein Telekommunikationsbetreiber hatte Hunderte Indexes und noch weit mehr Sourcetypes angesammelt, viele davon nahezu Duplikate. Suchen waren langsam, die Aufbewahrung uneinheitlich, und die Zugriffskontrolle war nicht mehr nachvollziehbar. AceMQ bewertete die Architektur und erarbeitete ein Konsolidierungsdesign.
Herausforderung
Jede neue Datenquelle hatte standardmäßig einen eigenen Index bekommen. Aufbewahrung, Zugriffskontrolle und Storage-Tiering mussten deshalb hundertfach konfiguriert werden – und wurden es oft nicht. Sourcetypes waren automatisch vergeben worden. So entstanden viele Varianten desselben Log-Formats mit unterschiedlichen Field Extractions, und wer einen logischen Datentyp durchsuchen wollte, musste jede Variante von Hand aufzählen. Analysten übersahen häufig Daten, weil sie von einer Variante gar nichts wussten.
Umgebung
On-Premises-Indexer-Cluster mit Splunk und Hunderten Indexes für Netzwerk-, Security- und Anwendungsdaten.
Vorgehen
Das Assessment gruppiert Indexes und Sourcetypes nach ihren tatsächlichen Anforderungen an Zugriffskontrolle und Aufbewahrung statt nach Quellsystem – genau das sollte die Grenzen eines Index von vornherein bestimmen. Wir messen die Suchmuster, um zu bestätigen, dass die Gruppierung zur tatsächlichen Abfragepraxis passt, und entwerfen dann ein konsolidiertes Layout mit einem Migrationspfad, der bestehende Saved Searches nicht bricht.
Lösung
- Vollständiges Inventar aller Indexes und Sourcetypes mit Volumen, Aufbewahrungseinstellung und Zugriffskontrolle je Eintrag
- Sourcetype-Varianten nach tatsächlichem Log-Format gruppiert, um die Duplikate zu finden, die zusammengeführt werden sollten
- Suchmuster analysiert, um zu bestätigen, dass die vorgeschlagenen Index-Grenzen der realen Abfragepraxis der Analysten entsprechen
- Konsolidiertes Index-Design, das sich an Aufbewahrung und Zugriffskontrolle orientiert statt an der Identität des Quellsystems
- Field Extraction je konsolidiertem Sourcetype vereinheitlicht, sodass eine einzige Suche abdeckt, wofür früher viele nötig waren
- Migrationsplan, der bestehende Saved Searches über Makros und Aliase erhält, damit beim Cutover kein Dashboard ausfällt
Resultat
Die Zahl der Indexes sank auf eine überschaubare Menge; Aufbewahrung und Zugriffskontrolle werden nun einmal pro Tier statt pro Quelle definiert. Suchen, für die früher alle Sourcetype-Varianten aufgezählt werden mussten, laufen jetzt gegen einen einzigen konsolidierten Typ – und Analysten übersehen keine Daten mehr, von deren Existenz sie nichts wussten.