Überblick
Der ELK-Cluster eines Versicherungsdienstleisters war innerhalb von achtzehn Monaten zweimal aus seinem Speicher herausgewachsen, ohne erkennbaren Grund. AceMQ bewertete, was tatsächlich indexiert wurde und wie viel davon überhaupt jemand nutzte.
Herausforderung
Wegen des standardmäßigen Dynamic Mappings wurde jedes Feld jeder JSON-Logzeile sowohl indexiert als auch gespeichert, einschließlich großer verschachtelter Strukturen, die nie jemand durchsucht hatte. Mehrere Services loggten auf Info-Level vollständige Request- und Response-Bodies. Die Aufbewahrung war über alle Indizes hinweg einheitlich, unabhängig vom Wert der Daten – Debug-Logs von Anwendungen wurden also genauso lange aufbewahrt wie Audit-Datensätze. Die Kurve des Speicherwachstums stand in keinem Zusammenhang mit dem Geschäftswachstum, aber niemand hatte die Daten auf Feldebene, um sie zu erklären.
Umgebung
On-Premises-ELK-Cluster, der Anwendungs-, Infrastruktur- und Audit-Logs aus dem gesamten Unternehmen aufnimmt.
Vorgehen
Das Assessment misst den Speicherverbrauch auf Feldebene, nicht nur auf Indexebene, und gleicht ihn mit der Nutzung in Suchen und Dashboards ab. Diese Kombination zeigt genau, welche Felder am meisten kosten und am wenigsten bringen – und macht aus der Aufbewahrung statt einer Grundsatzdebatte eine belegbare Entscheidung.
Lösung
- Speicher auf Feldebene je Index-Pattern per Disk-Usage-Analyse zugeordnet statt nur über Index-Summen
- Feldnutzung mit Saved Searches, Dashboards und Abfragehistorie abgeglichen, um indexierte, aber nie durchsuchte Felder zu finden
- Verhalten des Dynamic Mappings je Pattern geprüft und Stellen identifiziert, an denen explizite Mappings es ersetzen sollten
- Logging großer Payloads an der Quelle identifiziert, mit Empfehlungen zum Sampling oder Kürzen von Request- und Response-Bodies
- Aufbewahrungsstufen nach Datenklasse vorgeschlagen, damit Debug-Logs und Audit-Datensätze nicht mehr dieselbe Aufbewahrungsrichtlinie teilen
- Prognosemodell für den Speicher, das die Wachstumskurve vor und nach den empfohlenen Änderungen zeigt
Resultat
Das Assessment zeigte, dass ein großer Teil der indexierten Felder nie in einer Abfrage aufgetaucht war. Mit expliziten Mappings und gestaffelter Aufbewahrung flachte das prognostizierte Speicherwachstum so weit ab, dass die nächste geplante Erweiterung entfallen konnte.