Przegląd
Przedsiębiorstwo energetyczne miało w całej flocie serwerów sporadyczne luki w logach bez oczywistej przyczyny. Trop prowadził przez Logstash do kilku wzorców filtrów, które zużywały większość dostępnego CPU.
Wyzwanie
Kilka wzorców grok napisano z wiodącymi symbolami wieloznacznymi i zagnieżdżonymi grupami opcjonalnymi, co przy liniach logów o nieoczekiwanym kształcie prowadziło do katastrofalnego backtrackingu. Jedna źle sformatowana linia mogła bardzo długo blokować wątek roboczy. Gdy wątki były zajęte, persistent queue się zapełniała, Logstash stosował back-pressure wobec wejść Beats, a agenci przestawali wysyłać dane. Kiedy kolejka w końcu się opróżniała, agenci wznawiali pracę od stanu z rejestru — ale pliki zrotowane w międzyczasie już nie istniały.
Środowisko
Lokalny ELK Stack z agentami Filebeat w dużej flocie serwerów oraz warstwą Logstash odpowiedzialną za parsowanie i wzbogacanie danych.
Podejście
Sprofilowaliśmy pipeline filtrów, by ustalić, gdzie faktycznie upływa czas, zamiast optymalizować na oko. Po zidentyfikowaniu patologicznych wzorców przepisaliśmy je z użyciem zakotwiczonych wyrażeń, a tam, gdzie format był stały, zastosowaliśmy dissect. Następnie uodporniliśmy pipeline tak, by jedna błędna linia psuła jedno zdarzenie, a nie zatrzymywała całą flotę.
Rozwiązanie
- Profilowanie pipeline'u filtr po filtrze w celu wskazania konkretnych wzorców zużywających nieproporcjonalnie dużo czasu CPU
- Przepisanie wzorców grok z katastrofalnym backtrackingiem z użyciem zakotwiczeń oraz zastąpienie ich przez dissect tam, gdzie format logów jest stały
- Konfiguracja limitu czasu i tagowania przy błędzie (tag-on-failure), dzięki której nieparsowalna linia jest oznaczana i przepuszczana, nigdy nie blokując wątku roboczego
- Dostrojenie rozmiaru persistent queue i liczby wątków roboczych na podstawie zmierzonej przepustowości, a nie ustawień domyślnych
- Dostosowanie ustawień rejestru Beats i rotacji plików, by zatrzymanie przez back-pressure nie powodowało utraty zrotowanych plików
- Dodanie monitorowania głębokości kolejki i czasu działania filtrów, by narastający back-pressure był widoczny, zanim pojawią się luki
Efekt
Po usunięciu patologicznych wzorców luki w logach całkowicie zniknęły, a przepustowość pipeline'u na tym samym sprzęcie wzrosła kilkukrotnie. Alerty o głębokości kolejki sygnalizują teraz presję na długo przed zatrzymaniem agentów.