Zurück zu allen Kundenbeispielen

FehlerbehebungEnergie / Versorger

Backpressure zurückverfolgen – von fehlenden Logzeilen bis zum verursachenden Grok-Pattern

Energieversorger

Behebung einer ELK-Pipeline, in der Backpressure in Logstash die Beats-Agents blockierte und Lücken in den Logs der gesamten Serverflotte hinterließ.

Überblick

Ein Energieversorger hatte sporadische Lücken in den Logs seiner gesamten Serverflotte ohne erkennbare Ursache. Die Lücken ließen sich über Logstash auf eine kleine Zahl von Filter-Patterns zurückführen, die den Großteil der verfügbaren CPU verbrauchten.

Herausforderung

Mehrere Grok-Patterns waren mit führenden Wildcards und verschachtelten optionalen Gruppen geschrieben, was bei Logzeilen, die nicht dem erwarteten Format entsprachen, katastrophales Backtracking auslöste. Eine einzige fehlerhafte Zeile konnte einen Worker-Thread sehr lange belegen. Mit blockierten Workern lief die Persistent Queue voll, Logstash übte Backpressure auf die Beats-Inputs aus, und die Agents hörten auf zu senden. Als sich die Queue schließlich leerte, setzten die Agents an ihrer Registry wieder an – doch Dateien, die inzwischen rotiert worden waren, waren verloren.

Umgebung

On-Premises-ELK-Stack mit Filebeat-Agents auf einer großen Serverflotte und einer Logstash-Schicht für Parsing und Anreicherung.

Vorgehen

Wir haben die Filter-Pipeline per Profiling untersucht, um herauszufinden, wo die Zeit tatsächlich verbraucht wurde, statt nach Augenschein zu optimieren. Nachdem die problematischen Patterns identifiziert waren, haben wir sie mit verankerten Ausdrücken neu geschrieben und bei festem Format durch dissect ersetzt. Anschließend haben wir die Pipeline so robust gemacht, dass eine einzelne fehlerhafte Zeile nur ein Event beeinträchtigt, statt die gesamte Flotte zum Stillstand zu bringen.

Lösung

  1. Profiling der Pipeline pro Filter, um die konkreten Patterns mit unverhältnismäßigem CPU-Verbrauch zu identifizieren
  2. Grok-Patterns mit katastrophalem Backtracking mit Verankerung neu geschrieben und bei festem Logformat durch dissect ersetzt
  3. Timeout- und tag-on-failure-Verhalten so konfiguriert, dass eine nicht parsbare Zeile markiert und durchgereicht wird und nie einen Worker blockiert
  4. Größe der Persistent Queue und Anzahl der Worker anhand des gemessenen Durchsatzes statt nach Standardwerten abgestimmt
  5. Registry- und Dateirotationseinstellungen von Beats angepasst, damit ein Stillstand durch Backpressure keine rotierten Dateien kostet
  6. Monitoring von Queue-Tiefe und Filterdauer ergänzt, damit sich aufbauende Backpressure sichtbar wird, bevor Lücken entstehen

Resultat

Die Lücken in den Logs verschwanden vollständig, und nach dem Entfernen der problematischen Patterns stieg der Pipeline-Durchsatz auf derselben Hardware um ein Mehrfaches. Das Alerting auf die Queue-Tiefe zeigt Druck nun lange an, bevor Agents ins Stocken geraten.

Technologien

ELK StackLogstashElasticsearchFilebeat

Haben Sie ein Produktionsproblem mit ELK Stack?

Die Senior Engineers von AceMQ für ELK Stack haben genau diese Art von Projekt bereits umgesetzt. Ob Sie Architekturberatung, praktische Fehlerbehebung oder eine dauerhafte Managed-Services-Partnerschaft benötigen – wir sind bereit, Ihnen zu helfen.