Powrót do wszystkich studiów przypadków

Usuwanie problemówEnergetyka / media

Od brakujących linii logów do wzorca grok, który wywołuje back-pressure

Operator przedsiębiorstwa energetycznego

Naprawa pipeline'u ELK, w którym back-pressure w Logstash zatrzymywał agentów Beats i powodował luki w logach w całej flocie serwerów.

Przegląd

Przedsiębiorstwo energetyczne miało w całej flocie serwerów sporadyczne luki w logach bez oczywistej przyczyny. Trop prowadził przez Logstash do kilku wzorców filtrów, które zużywały większość dostępnego CPU.

Wyzwanie

Kilka wzorców grok napisano z wiodącymi symbolami wieloznacznymi i zagnieżdżonymi grupami opcjonalnymi, co przy liniach logów o nieoczekiwanym kształcie prowadziło do katastrofalnego backtrackingu. Jedna źle sformatowana linia mogła bardzo długo blokować wątek roboczy. Gdy wątki były zajęte, persistent queue się zapełniała, Logstash stosował back-pressure wobec wejść Beats, a agenci przestawali wysyłać dane. Kiedy kolejka w końcu się opróżniała, agenci wznawiali pracę od stanu z rejestru — ale pliki zrotowane w międzyczasie już nie istniały.

Środowisko

Lokalny ELK Stack z agentami Filebeat w dużej flocie serwerów oraz warstwą Logstash odpowiedzialną za parsowanie i wzbogacanie danych.

Podejście

Sprofilowaliśmy pipeline filtrów, by ustalić, gdzie faktycznie upływa czas, zamiast optymalizować na oko. Po zidentyfikowaniu patologicznych wzorców przepisaliśmy je z użyciem zakotwiczonych wyrażeń, a tam, gdzie format był stały, zastosowaliśmy dissect. Następnie uodporniliśmy pipeline tak, by jedna błędna linia psuła jedno zdarzenie, a nie zatrzymywała całą flotę.

Rozwiązanie

  1. Profilowanie pipeline'u filtr po filtrze w celu wskazania konkretnych wzorców zużywających nieproporcjonalnie dużo czasu CPU
  2. Przepisanie wzorców grok z katastrofalnym backtrackingiem z użyciem zakotwiczeń oraz zastąpienie ich przez dissect tam, gdzie format logów jest stały
  3. Konfiguracja limitu czasu i tagowania przy błędzie (tag-on-failure), dzięki której nieparsowalna linia jest oznaczana i przepuszczana, nigdy nie blokując wątku roboczego
  4. Dostrojenie rozmiaru persistent queue i liczby wątków roboczych na podstawie zmierzonej przepustowości, a nie ustawień domyślnych
  5. Dostosowanie ustawień rejestru Beats i rotacji plików, by zatrzymanie przez back-pressure nie powodowało utraty zrotowanych plików
  6. Dodanie monitorowania głębokości kolejki i czasu działania filtrów, by narastający back-pressure był widoczny, zanim pojawią się luki

Efekt

Po usunięciu patologicznych wzorców luki w logach całkowicie zniknęły, a przepustowość pipeline'u na tym samym sprzęcie wzrosła kilkukrotnie. Alerty o głębokości kolejki sygnalizują teraz presję na długo przed zatrzymaniem agentów.

Technologie

ELK StackLogstashElasticsearchFilebeat

Problem produkcyjny z ELK Stack?

Starsi inżynierowie ELK Stack w AceMQ realizowali już dokładnie taki rodzaj projektu. Niezależnie od tego, czy potrzebują Państwo doradztwa architektonicznego, praktycznego usunięcia problemów, czy stałego partnerstwa w modelu usług zarządzanych – jesteśmy gotowi pomóc.